Node.js और TypeScript के लिए वेब स्क्रैपिंग और ब्राउज़र ऑटोमेशन लाइब्रेरी।
एकीकृत प्रॉक्सी रोटेशन और एंटी-बॉट इवेजन के साथ मजबूत क्रॉलर बनाएं।
Crawlee JavaScript और TypeScript के लिए एक एंड-टू-एंड वेब स्क्रैपिंग और ब्राउज़र ऑटोमेशन लाइब्रेरी है। यह आधुनिक बॉट सुरक्षा को दरकिनार करते हुए AI, LLM और RAG पाइपलाइनों के लिए साफ डेटा निकालने में आपकी मदद करती है। स्वचालित डेटा संग्रह वर्कफ़्लो बनाने वाले पेशेवरों को यह बेहद सक्षम लगेगी।
यह लाइब्रेरी Playwright या Puppeteer का उपयोग करके कच्चे HTTP क्रॉलिंग और पूर्ण हेडलेस ब्राउज़र ऑटोमेशन दोनों के लिए एक एकीकृत इंटरफ़ेस प्रदान करती है। इसमें स्वचालित सत्र प्रबंधन, प्रॉक्सी रोटेशन, फ़िंगरप्रिंट जनरेशन और लगातार अनुरोध कतारें (request queues) शामिल हैं। आप निकाले गए डेटा को आसानी से डिस्क या क्लाउड स्टोरेज पर सारणीबद्ध (tabular) या फ़ाइल प्रारूपों में सहेज सकते हैं।
यह उन डेवलपर्स और डेटा इंजीनियरों के लिए उपयुक्त है जो Node.js में प्रोडक्शन-ग्रेड वेब स्क्रैपर बना रहे हैं जिन्हें बॉट डिटेक्शन को बायपास करने की आवश्यकता है। यह उन टीमों के लिए उपयुक्त नहीं है जो ज़ीरो-कोड GUI टूल की तलाश में हैं या जो मुख्य रूप से JavaScript और TypeScript इकोसिस्टम के बाहर काम कर रहे हैं।
एक ही API का उपयोग करके HTTP अनुरोधों और हेडलेस ब्राउज़र ऑटोमेशन के बीच सहजता से स्विच करें।
लक्षित वेबसाइटों द्वारा ब्लॉक होने से बचने के लिए मूल रूप से सत्र प्रबंधित करें और प्रॉक्सी को घुमाएं (rotate करें)।
आधुनिक बॉट सुरक्षा को बायपास करने के लिए स्वचालित रूप से ब्राउज़र जैसी हेडर और TLS फ़िंगरप्रिंट जनरेट करें।
स्क्रैप किए गए सारणीबद्ध डेटा और डाउनलोड की गई फ़ाइलों को स्थानीय रूप से स्टोर करें या क्लाउड स्टोरेज बैकएंड को कॉन्फ़िगर करें।
Crawlee अपने ओपन सोर्स लाइसेंस के तहत मुफ़्त है। एकमात्र लागत इसे अपने बुनियादी ढांचा (infrastructure) या स्थानीय मशीन पर स्वयं चलाना है, साथ ही कोई भी वैकल्पिक प्रॉक्सी सेवा जिसे आप एकीकृत करना चुनते हैं।
877 खुले रिमोट AI-ट्रेनिंग रोल, 16 नवंबर 2026 को अपडेट; ज़्यादातर में $20–$175 प्रति घंटा। इनमें से 5 हिंदी बोलने वालों के लिए हैं। Zekai इन्हें मुफ़्त में लिस्ट करता है; आवेदन एम्प्लॉयर के प्लेटफ़ॉर्म पर जाता है।
ये समीक्षित AI टूल यही काम तुरंत करते हैं — हमारी स्कोर की गई डायरेक्टरी से।
प्राथमिक Node.js लाइब्रेरी JavaScript और TypeScript है, लेकिन मेंटेनर Python रिपॉजिटरी के लिए एक अलग Crawlee भी प्रदान करते हैं।
नहीं, इंस्टॉलेशन के आकार को छोटा रखने के लिए आपको Playwright या Puppeteer जैसी ब्राउज़र ऑटोमेशन लाइब्रेरी अलग से इंस्टॉल करनी होंगी।
डिफ़ॉल्ट रूप से, Crawlee `./storage` निर्देशिका में स्थानीय रूप से स्क्रैप किए गए डेटासेट, की-वैल्यू जोड़े और अनुरोध कतारों (request queues) को स्टोर करता है।
Google में Zekai को सबसे पहले देखें