crawlee-python
Python'da güvenilir web kazıyıcılar ve tarayıcı otomasyon iş akışları oluşturun.
BeautifulSoup veya Playwright kullanarak AI, LLM, RAG ve GPT'ler için veri çıkarın.
Crawlee-python, AI uygulamaları için veri çıkarmak üzere tasarlanmış bir web kazıma ve tarayıcı otomasyon kütüphanesidir. Yerleşik proxy rotasyonu ile HTTP ve başsız tarayıcı (headless browser) taraması için size birleştirilmiş bir arayüz sunar.
Nedir
Uçtan uca web tarama ve kazıma işlemlerini yöneterek HTML, PDF ve resim dosyalarını indirmenize ve kalıcı olarak tablo verileri depolamanıza olanak tanır. Hızlı HTTP istekleri için BeautifulSoupCrawler ile JavaScript ağırlıklı sayfalar için PlaywrightCrawler arasında geçiş yapabilirsiniz.
Kimler için
RAG veya LLM'ler için veri boru hatları (data pipeline) oluşturan ve bot engellemelerine karşı dayanıklı kazıyıcılara ihtiyaç duyan Python geliştiricileri ve AI mühendisleri için uygundur. Kodsuz (no-code) görsel bir kazıma arayüzü arayanlar için uygun değildir.
Temel özellikler
Birleştirilmiş HTTP ve Tarayıcı API'si
Benzer bir arayüz kullanarak hız için BeautifulSoup ile JavaScript işleme için Playwright arasında kolayca geçiş yapın.
Entegre Proxy Rotasyonu
Modern bot korumalarının radarından kaçmak için oturumları yönetin ve proxy'leri otomatik olarak döndürün.
Asyncio Tabanlı Mimari
Yüksek performanslı paralel tarama ve modern entegrasyon için standart Python asyncio'dan yararlan
Durum Kalıcılığı
Kesintiler sırasında kazıma durumunu kaydedin, böylece boru hatlarını asla sıfırdan yeniden başlatmak zorunda kalmazsınız.
3 adımda hazır
Dürüst kararımız
Artıları
- Daha iyi IDE otomatik tamamlama ve daha az hata için eksiksiz tip ipucu (type hint) kapsamı
- Hatolarda ve engelleme korumalarında yerleşik otomatik yeniden denemeler
- Veri setleri ve anahtar-değer depoları dahil organize veri depolama seçenekleri
- uv veya standart pip kullanan hazırlanmış proje şablonlarına sahip CLI aracı
Eksileri
- Python kodu yazmayı ve async iş akışlarını yönetmeyi gerektirir
- Playwright eklentisi, ayrı tarayıcı ikililerinin (binaries) yüklenmesini gerektirir
- Ağır tarayıcı tabanlı otomasyonun çalıştırılması önemli miktarda sistem belleği tüketir
Fiyatlar & lisans
Crawlee, Apache-2.0 lisansı altında ücretsizdir ve yerelde ya da kendi altyapınızda çalıştığı için tek maliyet onu kendinizin çalıştırmasıdır.
Türkçe konuşanlar için işler
880 açık uzaktan yapay zeka eğitimi işi, 15 Kasım 2026 tarihinde güncellendi; çoğu saatlik $20–$175 ödüyor. Bunların 2 tanesi Türkçe konuşanlar için. Zekai ücretsiz listeler; başvuru işverenin platformunda yapılır.
Alternatifler
Kullanın ya da biz kuralım
SSS
BeautifulSoupCrawler mı yoksa PlaywrightCrawler mı kullanmalıyım?
Yüksek performanslı statik HTML kazıma için BeautifulSoupCrawler'ı ve istemci tarafında JavaScript çalıştırmanız gerektiğinde PlaywrightCrawler'ı kullanın.
Crawlee-python'ı Apify platformunda çalıştırabilir miyim?
Evet, açık kaynaklı olmasına ve her yerde çalışmasına rağmen Apify bulut platformuyla kolayca entegre olur.
