crawlee-python
Créez des web scrapers fiables et des flux de travail d'automatisation de navigateur en Python.
Extrayez des données pour l'IA, les LLM, le RAG et les GPT en utilisant BeautifulSoup ou Playwright.
Crawlee-python est une bibliothèque de web scraping et d'automatisation de navigateur conçue pour extraire des données pour les applications d'IA. Elle vous offre une interface unifiée pour le crawling HTTP et de navigateur sans tête, avec rotation de proxy intégrée.
Qu'est-ce que c'est
Elle gère le web crawling et le scraping de bout en bout, vous permettant de télécharger des fichiers HTML, PDF et images tout en stockant des données tabulaires de manière persistante. Vous pouvez basculer entre BeautifulSoupCrawler pour des requêtes HTTP rapides et PlaywrightCrawler pour les pages riches en JavaScript.
Pour qui
Elle convient aux développeurs Python et aux ingénieurs en IA qui construisent des pipelines de données pour le RAG ou les LLM et qui ont besoin de scrapers résilients contournant les bots. Elle ne convient pas à ceux qui recherchent une interface graphique de scraping sans code.
Fonctionnalités clés
API HTTP et navigateur unifiée
Basculez facilement entre BeautifulSoup pour la vitesse et Playwright pour le rendu JavaScript grâce à une interface similaire.
Rotation de proxy intégrée
Gérez les sessions et faites pivoter les proxies automatiquement pour passer sous le radar des protections anti-bot modernes.
Architecture basée sur Asyncio
Exploitez l'asyncio Python standard pour un crawling parallèle haute performance et une intégration moderne.
Persistance de l'état
Sauvegardez l'état du scraping lors des interruptions pour ne jamais avoir à redémarrer les pipelines à zéro.
Opérationnel en 3 étapes
Notre verdict honnête
Ses atouts
- Couverture complète des type hints pour une meilleure autocomplétion dans l'IDE et moins de bugs
- Tentatives automatiques intégrées en cas d'erreur et protection contre le blocage
- Options de stockage de données organisées incluant des jeux de données et des magasins clé-valeur
- Outil CLI avec des modèles de projet préparés utilisant uv ou pip standard
Ses limites
- Nécessite d'écrire du code Python et de gérer des flux de travail asynchrones
- L'option Playwright nécessite l'installation de binaires de navigateur séparés
- L'exécution d'une automatisation lourde basée sur un navigateur consomme beaucoup de mémoire système
Tarifs & licence
Crawlee est gratuit sous licence Apache-2.0, et comme il s'exécute localement ou sur votre propre infrastructure, le seul coût est de l'exécuter vous-même.
Missions pour francophones
880 missions ouvertes à distance en entraînement d’IA, mises à jour le 15 novembre 2026 ; la plupart paient $20–$175 de l’heure. 8 d’entre elles demandent des francophones. Zekai les liste gratuitement ; la candidature se fait sur la plateforme de l’employeur.
Alternatives
Utilisez-le, ou laissez-nous l'installer
FAQ
Dois-je utiliser BeautifulSoupCrawler ou PlaywrightCrawler ?
Utilisez BeautifulSoupCrawler pour le scraping HTML statique haute performance, et PlaywrightCrawler lorsque vous devez exécuter du JavaScript côté client.
Puis-je exécuter Crawlee-python sur la plateforme Apify ?
Oui, bien qu'il soit open source et s'exécute partout, il s'intègre facilement avec le cloud Apify.
