Bibliothèque de web scraping et d'automatisation de navigateur pour Node.js et TypeScript.
Créez des crawlers robustes avec rotation de proxy intégrée et contournement anti-bot.
Crawlee est une bibliothèque de web scraping et d'automatisation de navigateur de bout en bout pour JavaScript et TypeScript. Elle vous aide à extraire des données propres pour l'IA, les LLM et les pipelines RAG tout en contournant les protections anti-bot modernes. Les professionnels qui conçoivent des flux de travail automatisés de collecte de données la trouveront exceptionnellement performante.
La bibliothèque fournit une interface unifiée pour le crawling HTTP brut et l'automatisation complète de navigateur sans interface graphique (headless) utilisant Playwright ou Puppeteer. Elle propose la gestion automatique des sessions, la rotation des proxy, la génération d'empreintes digitales (fingerprints) et des files d'attente de requêtes persistantes. Vous pouvez facilement enregistrer les données extraites sur le disque ou dans le cloud sous forme de tableaux ou de fichiers.
Elle convient aux développeurs et aux ingénieurs de données qui créent des web scrapers de qualité production en Node.js et qui ont besoin de contourner la détection des bots. Elle ne convient pas aux équipes cherchant un outil d'interface graphique sans code (zero-code) ou travaillant principalement en dehors de l'écosystème JavaScript et TypeScript.
Basculez de manière transparente entre les requêtes HTTP et l'automatisation de navigateur headless en utilisant la même API.
Gérez les sessions et faites pivoter les proxy de manière native pour éviter d'être bloqué par les sites web cibles.
Générez automatiquement des en-têtes de type navigateur et des empreintes TLS pour contourner les protections anti-bot modernes.
Stockez les données tabulaires scrapées et les fichiers téléchargés localement ou configurez des backends de stockage cloud.
Crawlee est gratuit sous sa licence open source. Le seul coût est son exécution par vos soins sur votre infrastructure ou votre machine locale, ainsi que les services de proxy optionnels que vous choisissez d'intégrer.
879 missions ouvertes à distance en entraînement d’IA, mises à jour le 15 novembre 2026 ; la plupart paient $20–$175 de l’heure. 8 d’entre elles demandent des francophones. Zekai les liste gratuitement ; la candidature se fait sur la plateforme de l’employeur.
La bibliothèque Node.js principale est en JavaScript et TypeScript, mais les mainteneurs fournissent également un dépôt Crawlee pour Python séparé.
Non, vous devez installer séparément les bibliothèques d'automatisation de navigateur telles que Playwright ou Puppeteer afin de réduire la taille des installations.
Par défaut, Crawlee stocke les jeux de données scrapés, les paires clé-valeur et les files d'attente de requêtes localement dans un répertoire `./storage`.
Voir Zekai en premier dans Google