KI-Tools, bewertet für deinen Beruf
Bezahlte KI-Jobs
🤝 Du bist in der Frei-&-Open-Source-Bibliothek — von der Community entwickelte Tools, die du kostenlos nutzen kannst. Ein anderes Konzept als unser bewertetes KI-Verzeichnis.
Start › Frei & Open Source › Beratung › crawlee
✦ Frei & Open SourceBeratung

crawlee

Web-Scraping- und Browser-Automatisierungsbibliothek für Node.js und TypeScript.

Zuverlässiges Web-Scraping und Browser-Automatisierung

Erstellen Sie robuste Crawler mit integrierter Proxy-Rotation und Anti-Bot-Umgehung.

Für immer kostenlos · Open Source · Apache-2.0
✓ Light setup✓ Im Browser✓ Echtzeit-Zusammenarbeit
7.9
ZEKAI
Unverzichtbarer Node.js-Scraper
Frei & Open Source · Beratung
Einfache Einrichtung4
Nützlichkeit9
Wartung9.5
Community9.2
★ 26,090
GITHUB
Oct 2026
AKTUALISIERT
Apache-2.0
LIZENZ
🛠 Keine Lust auf Self-Hosting? Wir richten es ein →
⚡ Schnelle Antwort

Crawlee ist eine End-to-End-Web-Scraping- und Browser-Automatisierungsbibliothek für JavaScript und TypeScript. Sie hilft Ihnen beim Extrahieren sauberer Daten für KI-, LLM- und RAG-Pipelines und umgeht dabei moderne Bot-Schutzmaßnahmen. Profis, die automatisierte Datenerfassungs-Workflows erstellen, werden sie als äußerst leistungsfähig empfinden.

Läuft auf
Cross-platform
Hosting
Self-host
Sprachen
TypeScript
Lizenz
Apache-2.0

Was es ist

Die Bibliothek bietet eine einheitliche Schnittstelle sowohl für das reine HTTP-Crawling als auch für die vollständige Headless-Browser-Automatisierung mit Playwright oder Puppeteer. Sie bietet automatisches Sitzungsmanagement, Proxy-Rotation, Fingerprint-Generierung und persistente Warteschlangen für Anfragen. Sie können extrahierte Daten ganz einfach in tabellarischen oder Dateiformaten auf der Festplatte oder im Cloud-Speicher speichern.

Für wen

Sie eignet sich für Entwickler und Data Engineers, die produktionsreife Web-Scraper in Node.js erstellen und die Bot-Erkennung umgehen müssen. Sie ist nicht geeignet für Teams, die ein Code-freies GUI-Tool suchen oder primär außerhalb des JavaScript- und TypeScript-Ökosystems arbeiten.

Wichtige Funktionen

Einheitliche Crawling-Schnittstelle

Wechseln Sie nahtlos zwischen HTTP-Anfragen und Headless-Browser-Automatisierung unter Verwendung derselben API.

Automatische Proxy-Rotation

Verwalten Sie Sitzungen und rotieren Sie Proxies nativ, um Blockierungen durch Ziel-Websites zu vermeiden.

Menschlich wirkende Fingerprints

Generieren Sie automatisch browserähnliche Header und TLS-Fingerprints, um moderne Bot-Schutzmaßnahmen zu umgehen.

Erweiterbarer Speicher

Speichern Sie gescrapte tabellarische Daten und heruntergeladene Dateien lokal oder konfigurieren Sie Cloud-Speicher-Backends.

Erste Schritte

Startklar in 3 Schritten

1
Führen Sie `npx crawlee create my-crawler` über die CLI aus, um ein neues Projekt mit Boilerplate-Code zu generieren.
2
Installieren Sie erforderliche Abhängigkeiten wie Playwright, wenn Sie browserbasiertes Crawling verwenden.
3
Implementieren Sie Ihre benutzerdefinierte Crawling-Logik innerhalb des Request-Handlers und starten Sie den Scraper.
Klartext

Unser ehrliches Fazit

Stärken

  • Unterstützt sowohl Cheerio/JSDOM für schnelles HTTP-Scraping als auch Playwright/Puppeteer für vollständiges Browser-Rendering.
  • Integrierte automatische Proxy-Rotation und Sitzungsverwaltung handhaben Rate Limits problemlos.
  • Generiert sofort einsatzbereite, menschlich wirkende Browser-Fingerprints zur Umgehung strikter Bot-Erkennung.
  • Vollständig in TypeScript mit starken Generics für typsichere Datenextraktion geschrieben.

Schwächen

  • Erfordert Node.js 22.13 oder höher für den ordnungsgemäßen Betrieb.
  • Schwere Browser-Automatisierung über Playwright veya Puppeteer erfordert bei großem Umfang erhebliche RAM- und CPU-Ressourcen.
  • Sie müssen Ihre eigene JavaScript- oder TypeScript-Extraktionslogik schreiben und pflegen.
Kosten

Preise & Lizenz

Crawlee ist im Rahmen seiner open source Lizenz kostenlos. Die einzigen Kosten entstehen durch den Eigenbetrieb auf Ihrer Infrastruktur oder lokalen Maschine sowie durch optionale Proxy-Dienste, die Sie integrieren möchten.

Bezahlte Arbeit

Stellen für Deutschsprachige

877 offene Remote-Stellen im KI-Training, aktualisiert am 16. November 2026; die meisten zahlen $20–$175 pro Stunde. 12 davon suchen Deutschsprachige. Zekai listet sie kostenlos; die Bewerbung läuft über die Plattform des Arbeitgebers.

Alle offenen Stellen ansehen →
Vergleich

Alternativen

🎁 Freie & Open-Source-Alternativen

Diese bewerteten KI-Tools erledigen die Aufgabe sofort — aus unserem bewerteten Verzeichnis.

Mehr

Nutze es, oder lass es uns einrichten

📄 Kostenloses PDF: crawlee für Beratung
Ein verständlicher Leitfaden für dein erstes Ergebnis. Direkt in dein Postfach.
🔔 64 Personen wünschen sich ein komplettes Video-Tutorial — stimme ab
🛠 Keine Lust auf eigene Einrichtung?
Wir installieren, hosten & konfigurieren crawlee für dich — und schulen dein Team.
Erledigen lassen ↗
Fragen

FAQ

Kann ich Crawlee mit Python verwenden?

Die primäre Node.js-Bibliothek ist in JavaScript und TypeScript geschrieben, aber die Betreuer stellen auch ein separates Crawlee for Python Repository zur Verfügung.

Enthält Crawlee vorinstallierte Browser?

Nein, Sie müssen Browser-Automatisierungsbibliotheken wie Playwright oder Puppeteer separat installieren, um die Installationsgrößen kleiner zu halten.

Wie geht Crawlee standardmäßig mit der Datenspeicherung um?

Standardmäßig speichert Crawlee gescrapte Datensätze, Schlüssel-Wert-Paare und Anfrage-Warteschlangen lokal in einem `./storage`-Verzeichnis.

Radar

Neueste KI-News

✉️ Das wöchentliche kostenlose Toolkit
Die besten neuen freien & Open-Source-Tools für Beratung — eine kurze E-Mail pro Woche, in deiner Sprache.
Kostenlos · 1 E-Mail/Woche · jederzeit abbestellbar
Mit KI-Training Geld verdienen →

Zekai zuerst in Google sehen