वेबसाइटों को साफ Markdown में बदलें और LLM के लिए संरचित डेटा निकालें।
साफ Markdown, संरचित JSON निकालें, और वेब डेटा को सीधे अपने AI एजेंटों तक पहुँचाएँ।
Crawl4AI एक ओपन-सोर्स वेब क्रॉलर और स्क्रैपर है जिसे विशेष रूप से वेबसाइटों को साफ, LLM-तैयार Markdown या संरचित JSON में बदलने के लिए डिज़ाइन किया गया है। यह अनुपालन और ऑडिट पेशेवरों के लिए उपयुक्त है जिन्हें बाहरी नियामक पोर्टलों, नीतिगत अपडेट या वेब डेटा को सीधे स्थानीय या क्लाउड-आधारित AI पाइपलाइन में इनजेस्ट करने की आवश्यकता होती है।
यह टूल अतुल्यकालिक (asynchronous) ब्राउज़र पूल चलाता है, गतिशील JavaScript रेंडरिंग को संभालता है, और बॉयलरप्लेट वेबसाइट टेक्स्ट को हटाने के लिए BM25 और LXML जैसी सामग्री फ़िल्टरिंग रणनीतियों का समर्थन करता है। यह ऑडिटिंग या अनुसंधान के लिए गंदे वेब पेजों को टाइप किए गए डेटा फ़ील्ड में बदलने के लिए CSS, XPath और LLM-संचालित निष्कर्षण स्कीमा प्रदान करता है।
यह वेब स्रोतों पर स्वचालित निगरानी वर्कफ़्लो या RAG पाइपलाइन बनाने वाले Python डेवलपर्स और अनुपालन इंजीनियरों के लिए उपयुक्त है। यह बिना कोड लिखे पॉइंट-एंड-क्लिक डेस्कटॉप ऐप की तलाश कर रहे गैर-तकनीकी अनुपालन अधिकारियों के लिए उपयुक्त नहीं है।
वेब पेजों को उद्धरणों और बॉयलरप्लेट हटाने के साथ संरचित Markdown में परिवर्तित करता है।
CSS, XPath स्कीमा, या एकीकृत LLM निष्कर्षण का उपयोग करके टाइप किया गया JSON निकालता है।
स्थिर ब्राउज़र प्रोफाइल, कुकीज़, प्रॉक्सी और स्टील्थ मोड बनाए रखता है।
गतिशील JS निष्कर्षण और कैशिंग के साथ BFS, DFS, और अनुकूली क्रॉलिंग निष्पादित करता है।
Python लाइब्रेरी और self-hosted Docker सर्वर Apache-2.0 लाइसेंस के तहत मुफ्त हैं। Crawl4AI Cloud $10 प्रति माह से शुरू होने वाले भुगतान वाले स्तरों के साथ 1,000 मुफ्त मासिक क्रेडिट प्रदान करता है।
880 खुले रिमोट AI-ट्रेनिंग रोल, 15 नवंबर 2026 को अपडेट; ज़्यादातर में $20–$175 प्रति घंटा। इनमें से 5 हिंदी बोलने वालों के लिए हैं। Zekai इन्हें मुफ़्त में लिस्ट करता है; आवेदन एम्प्लॉयर के प्लेटफ़ॉर्म पर जाता है।
हाँ, यह JavaScript निष्पादित करता है, तत्वों के लोड होने की प्रतीक्षा करता है, और अनंत स्क्रॉल या लेज़ी-लोडेड छवियों के लिए पूर्ण पृष्ठों को स्कैन कर सकता है।
आप LLM की के बिना CSS, XPath, या regex निष्कर्षण रणनीतियों का उपयोग कर सकते हैं, या अपने स्वयं के प्रदाता के साथ LLM निष्कर्षण रणनीतियों का उपयोग कर सकते हैं।
इसे स्थानीय रूप से चलाने से आपकी अपनी मशीन या सर्वर पर मुफ्त में ब्राउज़र निष्पादित होते हैं, जबकि क्लाउड API भुगतान किए गए क्रेडिट के माध्यम से आपके लिए ब्राउज़र, प्रॉक्सी और बॉट दीवारों को संभालता है।
Google में Zekai को सबसे पहले देखें