crawlee-python
Python में विश्वसनीय वेब स्क्रैपर और ब्राउज़र स्वचालन वर्कफ़्लो बनाएँ।
BeautifulSoup या Playwright का उपयोग करके AI, LLMs, RAG, और GPTs के लिए डेटा निकालें।
Crawlee-python एक वेब स्क्रैपिंग और ब्राउज़र स्वचालन लाइब्रेरी है जिसे AI अनुप्रयोगों के लिए डेटा निकालने के लिए डिज़ाइन किया गया है। यह आपको अंतर्निहित प्रॉक्सी रोटेशन के साथ HTTP और हेडलेस ब्राउज़र क्रॉलिंग के लिए एक एकीकृत इंटरफ़ेस देता है।
यह क्या है
यह एंड-टू-एंड वेब क्रॉलिंग और स्क्रैपिंग को संभालता है, जिससे आप सारणीबद्ध डेटा को लगातार संग्रहीत करते हुए HTML, PDF और इमेज फ़ाइलें डाउनलोड कर सकते हैं। आप तेज़ HTTP अनुरोधों के लिए BeautifulSoupCrawler और JavaScript-हेवी पेजों के लिए PlaywrightCrawler के बीच स्विच कर सकते हैं।
किसके लिए
यह RAG या LLM के लिए डेटा पाइपलाइन बनाने वाले Python डेवलपर्स और AI इंजीनियरों के लिए उपयुक्त है, जिन्हें लचीले बॉट-बचने वाले स्क्रैपर की आवश्यकता होती है। यह उन लोगों के लिए उपयुक्त नहीं है जो नो-कोड विजुअल स्क्रैपिंग GUI की तलाश कर रहे हैं।
मुख्य विशेषताएँ
Unified HTTP & Browser API
समान इंटरफ़ेस का उपयोग करके गति के लिए BeautifulSoup और JavaScript रेंडरिंग के लिए Playwright के बीच आसानी से स्विच करें।
Integrated Proxy Rotation
आधुनिक बॉट सुरक्षा के रडार से बचने के लिए सत्रों का प्रबंधन करें और प्रॉक्सी को स्वचालित रूप से घुमाएँ।
Asyncio-Based Architecture
उच्च-प्रदर्शन समानांतर क्रॉलिंग और आधुनिक एकीकरण के लिए मानक Python asyncio का लाभ उठाएँ।
State Persistence
बाधाओं के दौरान स्क्रैपिंग स्थिति को सहेजें ताकि आपको कभी भी स्क्रैच से पाइपलाइन को पुनरारंभ न करना पड़े।
3 चरणों में तैयार
हमारा ईमानदार फैसला
क्या अच्छा है
- बेहतर IDE ऑटोकमप्लीशन और कम बग के लिए संपूर्ण टाइप हिंट कवरेज
- त्रुटियों और ब्लॉकिंग सुरक्षा पर अंतर्निहित स्वचालित पुन: प्रयास
- डेटासेट और की-वैल्यू स्टोर सहित संगठित डेटा स्टोरेज विकल्प
- uv या मानक pip का उपयोग करके तैयार प्रोजेक्ट टेम्प्लेट के साथ CLI टूल
कहाँ कमी है
- Python कोड लिखने और async वर्कफ़्लो प्रबंधित करने की आवश्यकता है
- Playwright अतिरिक्त के लिए अलग ब्राउज़र बाइनरी स्थापित करने की आवश्यकता होती है
- भारी ब्राउज़र-आधारित स्वचालन चलाने से महत्वपूर्ण सिस्टम मेमोरी की खपत होती है
मूल्य & लाइसेंस
Crawlee Apache-2.0 लाइसेंस के तहत मुफ़्त है, और चूँकि यह स्थानीय रूप से या आपके अपने बुनियादी ढाचे पर चलता है, इसलिए एकमात्र लागत इसे स्वयं चलाने की है।
हिंदी बोलने वालों के लिए जॉब्स
880 खुले रिमोट AI-ट्रेनिंग रोल, 15 नवंबर 2026 को अपडेट; ज़्यादातर में $20–$175 प्रति घंटा। इनमें से 5 हिंदी बोलने वालों के लिए हैं। Zekai इन्हें मुफ़्त में लिस्ट करता है; आवेदन एम्प्लॉयर के प्लेटफ़ॉर्म पर जाता है।
विकल्प
इसे उपयोग करें, या हमसे सेट करवाएं
सामान्य प्रश्न
Should I use BeautifulSoupCrawler or PlaywrightCrawler?
उच्च-प्रदर्शन स्थिर HTML स्क्रैपिंग के लिए BeautifulSoupCrawler का उपयोग करें, और जब आपको क्लाइंट-साइड JavaScript निष्पादित करने की आवश्यकता हो तो PlaywrightCrawler का उपयोग करें।
Can I run Crawlee-python on the Apify platform?
हाँ, हालांकि यह open source है और कहीं भी चलता है, यह Apify क्लाउड प्लेटफॉर्म के साथ आसानी से एकीकृत हो जाता है।
