आपके काम के लिए रेटेड एआई टूल
AI ट्रेन करके कमाएँ
🤝 आप फ्री & ओपन सोर्स लाइब्रेरी में हैं — समुदाय द्वारा बनाए गए टूल जिन्हें आप बिना भुगतान किए उपयोग कर सकते हैं। हमारी स्कोर की गई AI डायरेक्टरी से अलग एक अवधारणा।
होम › फ्री & ओपन सोर्स › कंप्लायंस › crawl4ai
✦ फ्री & ओपन सोर्सकंप्लायंस

crawl4ai

वेबसाइटों को साफ Markdown में बदलें और LLM के लिए संरचित डेटा निकालें।

AI और LLM के लिए ओपन-सोर्स वेब क्रॉलर

साफ Markdown, संरचित JSON निकालें, और वेब डेटा को सीधे अपने AI एजेंटों तक पहुँचाएँ।

हमेशा के लिए मुफ़्त · ओपन सोर्स · Apache-2.0
✓ Light setup✓ ब्राउज़र-आधारित✓ रियल-टाइम सहयोग
8.3
ZEKAI
AI के लिए आवश्यक वेब क्रॉलर
फ्री & ओपन सोर्स · कंप्लायंस
सेटअप की आसानी6
उपयोगिता8
रखरखाव9.5
समुदाय9.8
★ 85,739
गिटहब
Oct 2026
अपडेटेड
Apache-2.0
लाइसेंस
🛠 खुद होस्ट नहीं करना चाहते? हम इसे सेट कर सकते हैं →
⚡ त्वरित उत्तर

Crawl4AI एक ओपन-सोर्स वेब क्रॉलर और स्क्रैपर है जिसे विशेष रूप से वेबसाइटों को साफ, LLM-तैयार Markdown या संरचित JSON में बदलने के लिए डिज़ाइन किया गया है। यह अनुपालन और ऑडिट पेशेवरों के लिए उपयुक्त है जिन्हें बाहरी नियामक पोर्टलों, नीतिगत अपडेट या वेब डेटा को सीधे स्थानीय या क्लाउड-आधारित AI पाइपलाइन में इनजेस्ट करने की आवश्यकता होती है।

इस पर चलता है
Cross-platform
होस्टिंग
क्लाउड या सेल्फ-होस्ट
भाषाएँ
Python
लाइसेंस
Apache-2.0

यह क्या है

यह टूल अतुल्यकालिक (asynchronous) ब्राउज़र पूल चलाता है, गतिशील JavaScript रेंडरिंग को संभालता है, और बॉयलरप्लेट वेबसाइट टेक्स्ट को हटाने के लिए BM25 और LXML जैसी सामग्री फ़िल्टरिंग रणनीतियों का समर्थन करता है। यह ऑडिटिंग या अनुसंधान के लिए गंदे वेब पेजों को टाइप किए गए डेटा फ़ील्ड में बदलने के लिए CSS, XPath और LLM-संचालित निष्कर्षण स्कीमा प्रदान करता है।

किसके लिए

यह वेब स्रोतों पर स्वचालित निगरानी वर्कफ़्लो या RAG पाइपलाइन बनाने वाले Python डेवलपर्स और अनुपालन इंजीनियरों के लिए उपयुक्त है। यह बिना कोड लिखे पॉइंट-एंड-क्लिक डेस्कटॉप ऐप की तलाश कर रहे गैर-तकनीकी अनुपालन अधिकारियों के लिए उपयुक्त नहीं है।

मुख्य विशेषताएँ

साफ Markdown जनरेशन

वेब पेजों को उद्धरणों और बॉयलरप्लेट हटाने के साथ संरचित Markdown में परिवर्तित करता है।

संरचित डेटा निष्कर्षण

CSS, XPath स्कीमा, या एकीकृत LLM निष्कर्षण का उपयोग करके टाइप किया गया JSON निकालता है।

स्टील्थ और सत्र नियंत्रण

स्थिर ब्राउज़र प्रोफाइल, कुकीज़, प्रॉक्सी और स्टील्थ मोड बनाए रखता है।

डीप क्रॉलिंग रणनीतियाँ

गतिशील JS निष्कर्षण और कैशिंग के साथ BFS, DFS, और अनुकूली क्रॉलिंग निष्पादित करता है।

कैसे शुरू करें

3 चरणों में तैयार

1
pip install -U crawl4ai के माध्यम से Python पैकेज स्थापित करें
2
आवश्यक ब्राउज़र बाइनरी को कॉन्फ़िगर करने के लिए सेटअप कमांड चलाएँ
3
Python में AsyncWebCrawler आयात करें और अपनी पहली async स्क्रैपिंग स्क्रिप्ट लिखें
सच कहें तो

हमारा ईमानदार फैसला

क्या अच्छा है

  • शीर्षक पदानुक्रम, तालिकाओं और उद्धरण संकेतों के साथ स्मार्ट Markdown आउटपुट करता है।
  • इसमें अनुकूली क्रॉलिंग शामिल है जो किसी प्रश्न का उत्तर देने के लिए पर्याप्त डेटा एकत्र होने पर रुक जाती है।
  • CSS, XPath, regex और LLM-आधारित स्कीमा सहित कई निष्कर्षण रणनीतियों का समर्थन करता है।
  • self-hosted Python लाइब्रेरी/Docker सर्वर और एक वैकल्पिक प्रबंधित क्लाउड API दोनों प्रदान करता है।

कहाँ कमी है

  • इसे स्वयं चलाने के लिए Python, ब्राउज़र निर्भरता स्थापित करने और स्क्रैपिंग अवरोधकों को प्रबंधित करने की आवश्यकता होती है।
  • Docker सर्वर को self-hosting करने के लिए बुनियादी ढांचे को बनाए रखने और API टोकन सुरक्षा को संभालने की आवश्यकता होती है।
  • वेब खोज और प्रबंधित निष्कर्षण जैसी क्लाउड सुविधाओं के लिए क्रेडिट या भुगतान योजनाओं को खरीदने की आवश्यकता होती है।
लागत

मूल्य & लाइसेंस

Python लाइब्रेरी और self-hosted Docker सर्वर Apache-2.0 लाइसेंस के तहत मुफ्त हैं। Crawl4AI Cloud $10 प्रति माह से शुरू होने वाले भुगतान वाले स्तरों के साथ 1,000 मुफ्त मासिक क्रेडिट प्रदान करता है।

पेड वर्क

हिंदी बोलने वालों के लिए जॉब्स

880 खुले रिमोट AI-ट्रेनिंग रोल, 15 नवंबर 2026 को अपडेट; ज़्यादातर में $20–$175 प्रति घंटा। इनमें से 5 हिंदी बोलने वालों के लिए हैं। Zekai इन्हें मुफ़्त में लिस्ट करता है; आवेदन एम्प्लॉयर के प्लेटफ़ॉर्म पर जाता है।

सभी खुले रोल देखें →
तुलना

विकल्प

🎁 फ्री & ओपन-सोर्स विकल्प
और पाएं

इसे उपयोग करें, या हमसे सेट करवाएं

📄 मुफ़्त PDF: कंप्लायंस के लिए crawl4ai
आपका पहला परिणाम पाने के लिए सरल भाषा में गाइड। आपके इनबॉक्स में।
🔔 64 लोग पूरा वीडियो ट्यूटोरियल चाहते हैं — अपना वोट जोड़ें
🛠 खुद सेट नहीं करना चाहते?
हम crawl4ai को आपके लिए इंस्टॉल, होस्ट और कॉन्फ़िगर करेंगे — और आपकी टीम को प्रशिक्षित करेंगे।
हमसे करवाएं ↗
प्रश्न

सामान्य प्रश्न

क्या Crawl4AI JavaScript-भारी वेबसाइटों को संभाल सकता है?

हाँ, यह JavaScript निष्पादित करता है, तत्वों के लोड होने की प्रतीक्षा करता है, और अनंत स्क्रॉल या लेज़ी-लोडेड छवियों के लिए पूर्ण पृष्ठों को स्कैन कर सकता है।

क्या मुझे डेटा निष्कर्षण के लिए अपने स्वयं के LLM API की आवश्यकता है?

आप LLM की के बिना CSS, XPath, या regex निष्कर्षण रणनीतियों का उपयोग कर सकते हैं, या अपने स्वयं के प्रदाता के साथ LLM निष्कर्षण रणनीतियों का उपयोग कर सकते हैं।

इसे स्थानीय रूप से चलाने और Crawl4AI Cloud का उपयोग करने में क्या अंतर है?

इसे स्थानीय रूप से चलाने से आपकी अपनी मशीन या सर्वर पर मुफ्त में ब्राउज़र निष्पादित होते हैं, जबकि क्लाउड API भुगतान किए गए क्रेडिट के माध्यम से आपके लिए ब्राउज़र, प्रॉक्सी और बॉट दीवारों को संभालता है।

रडार

ताज़ा AI समाचार

✉️ साप्ताहिक मुफ़्त टूलकिट
कंप्लायंस के लिए सर्वश्रेष्ठ नए फ्री & ओपन-सोर्स टूल — हर हफ्ते एक छोटा ईमेल, आपकी भाषा में।
मुफ़्त · 1 ईमेल/सप्ताह · कभी भी अनसब्सक्राइब करें
AI ट्रेनिंग से पैसे कमाएँ →

Google में Zekai को सबसे पहले देखें