crawl4ai
Web sitelerini temiz Markdown'a dönüştürün ve LLM'ler için yapılandırılmış veriler çıkarın.
Temiz Markdown, yapılandırılmış JSON çıkarın ve web verilerini doğrudan yapay zeka ajanlarınıza besleyin.
Crawl4AI, web sitelerini doğrudan LLM'lerin kullanabileceği temiz Markdown veya yapılandırılmış JSON formatına dönüştürmek için özel olarak tasarlanmış açık kaynaklı bir web tarayıcısı ve kazıyıcıdır. Harici düzenleyici portalları, politika güncellemelerini veya web verilerini yerel veya bulut tabanlı yapay zeka boru hatlarına aktarması gereken uyumluluk ve denetim profesyonelleri için uygundur.
Nedir
Araç, eşzamansız tarayıcı havuzları çalıştırır, dinamik JavaScript oluşturmayı yönetir ve gereksiz web sitesi metinlerini temizlemek için BM25 ve LXML gibi içerik filtreleme stratejilerini destekler. Denetim veya araştırma için karmaşık web sayfalarını türlendirilmiş veri alanlarına dönüştürmek üzere CSS, XPath ve LLM odaklı çıkarma şemaları sunar.
Kimler için
Web kaynakları üzerinde otomatik izleme iş akışları veya RAG boru hatları oluşturan Python geliştiricileri ve uyumluluk mühendisleri için uygundur. Kod yazmadan tıklayarak çalışan bir masaüstü uygulaması arayan teknik olmayan uyumluluk görevlileri için uygun değildir.
Temel özellikler
Temiz Markdown Üretimi
Web sayfalarını başlık hiyerarşileri, tablolar ve alıntı ipuçlarıyla yapılandırılmış Markdown'a dönüştürür.
Yapılandırılmış Veri Çıkarma
CSS, XPath şemaları veya entegre LLM çıkarımı kullanarak türlendirilmiş JSON çıkarır.
Gizlilik ve Oturum Kontrolü
Kalıcı tarayıcı profilleri, çerezler, proxy'ler ve gizlilik modları sağlar.
Derin Tarama Stratejileri
Dinamik JS yürütme ve önbelleğe alma ile BFS, DFS ve uyarlamalı tarama gerçekleştirir.
3 adımda hazır
Dürüst kararımız
Artıları
- Başlık hiyerarşileri, tablolar ve alıntı ipuçlarıyla eksiksiz akıllı Markdown çıktısı verir.
- Bir sorguyu yanıtlamak için yeterli veri toplandığında duran uyarlamalı tarama içerir.
- CSS, XPath, regex ve LLM tabanlı şemalar dahil olmak üzere birden fazla çıkarma stratejisini destekler.
- Hem self-host bir Python kütüphanesi/Docker sunucusu hem de isteğe bağlı yönetilen bir bulut API sağlar.
Eksileri
- Kendiniz çalıştırmak Python, tarayıcı bağımlılıkları yüklemeyi ve kazıma engelleyicilerini yönetmeyi gerektirir.
- Docker sunucusunu self-host etmek altyapı bakımı yapmayı ve API token güvenliğini yönetmeyi gerektirir.
- Web araması ve yönetilen çıkarma gibi bulut özellikleri kredi veya ücretli planlar satın almayı gerektirir.
Fiyatlar & lisans
Python kütüphanesi ve self-host Docker sunucusu Apache-2.0 lisansı altında ücretsizdir. Crawl4AI Cloud, aylık 1.000 ücretsiz kredi sunar ve aylık $10'dan başlayan ücretli katmanlara sahiptir.
Türkçe konuşanlar için işler
880 açık uzaktan yapay zeka eğitimi işi, 15 Kasım 2026 tarihinde güncellendi; çoğu saatlik $20–$175 ödüyor. Bunların 2 tanesi Türkçe konuşanlar için. Zekai ücretsiz listeler; başvuru işverenin platformunda yapılır.
Alternatifler
Kullanın ya da biz kuralım
SSS
Crawl4AI JavaScript ağırlıklı web sitelerini işleyebilir mi?
Evet, JavaScript çalıştırır, öğelerin yüklenmesini bekler ve sonsuz kaydırma veya tembel yüklenen (lazy-load) görseller için tam sayfaları tarayabilir.
Veri çıkarma için kendi LLM API anahtarlarım gerekeiyor mu?
LLM anahtarı olmadan CSS, XPath veya regex çıkarma stratejilerini kullanabilir veya kendi sağlayıcınızla LLM çıkarma stratejilerini kullanabilirsiniz.
Yerel olarak çalıştırmak ile Crawl4AI Cloud kullanmak arasındaki fark nedir?
Yerel olarak çalıştırmak tarayıcıları kendi makinenizde veya sunucunuzda ücretsiz olarak çalıştırırken, bulut API ücretli krediler aracılığıyla tarayıcıları, proxy'leri ve bot engellerini sizin için yönetir.
