Web-Scraping- und Browser-Automatisierungsbibliothek für Node.js und TypeScript.
Erstellen Sie robuste Crawler mit integrierter Proxy-Rotation und Anti-Bot-Umgehung.
Crawlee ist eine End-to-End-Web-Scraping- und Browser-Automatisierungsbibliothek für JavaScript und TypeScript. Sie hilft Ihnen beim Extrahieren sauberer Daten für KI-, LLM- und RAG-Pipelines und umgeht dabei moderne Bot-Schutzmaßnahmen. Profis, die automatisierte Datenerfassungs-Workflows erstellen, werden sie als äußerst leistungsfähig empfinden.
Die Bibliothek bietet eine einheitliche Schnittstelle sowohl für das reine HTTP-Crawling als auch für die vollständige Headless-Browser-Automatisierung mit Playwright oder Puppeteer. Sie bietet automatisches Sitzungsmanagement, Proxy-Rotation, Fingerprint-Generierung und persistente Warteschlangen für Anfragen. Sie können extrahierte Daten ganz einfach in tabellarischen oder Dateiformaten auf der Festplatte oder im Cloud-Speicher speichern.
Sie eignet sich für Entwickler und Data Engineers, die produktionsreife Web-Scraper in Node.js erstellen und die Bot-Erkennung umgehen müssen. Sie ist nicht geeignet für Teams, die ein Code-freies GUI-Tool suchen oder primär außerhalb des JavaScript- und TypeScript-Ökosystems arbeiten.
Wechseln Sie nahtlos zwischen HTTP-Anfragen und Headless-Browser-Automatisierung unter Verwendung derselben API.
Verwalten Sie Sitzungen und rotieren Sie Proxies nativ, um Blockierungen durch Ziel-Websites zu vermeiden.
Generieren Sie automatisch browserähnliche Header und TLS-Fingerprints, um moderne Bot-Schutzmaßnahmen zu umgehen.
Speichern Sie gescrapte tabellarische Daten und heruntergeladene Dateien lokal oder konfigurieren Sie Cloud-Speicher-Backends.
Crawlee ist im Rahmen seiner open source Lizenz kostenlos. Die einzigen Kosten entstehen durch den Eigenbetrieb auf Ihrer Infrastruktur oder lokalen Maschine sowie durch optionale Proxy-Dienste, die Sie integrieren möchten.
877 offene Remote-Stellen im KI-Training, aktualisiert am 16. November 2026; die meisten zahlen $20–$175 pro Stunde. 12 davon suchen Deutschsprachige. Zekai listet sie kostenlos; die Bewerbung läuft über die Plattform des Arbeitgebers.
Diese bewerteten KI-Tools erledigen die Aufgabe sofort — aus unserem bewerteten Verzeichnis.
Die primäre Node.js-Bibliothek ist in JavaScript und TypeScript geschrieben, aber die Betreuer stellen auch ein separates Crawlee for Python Repository zur Verfügung.
Nein, Sie müssen Browser-Automatisierungsbibliotheken wie Playwright oder Puppeteer separat installieren, um die Installationsgrößen kleiner zu halten.
Standardmäßig speichert Crawlee gescrapte Datensätze, Schlüssel-Wert-Paare und Anfrage-Warteschlangen lokal in einem `./storage`-Verzeichnis.
Zekai zuerst in Google sehen