Verwandeln Sie Webseiten in sauberes Markdown und extrahieren Sie strukturierte Daten für LLMs.
Extrahieren Sie sauberes Markdown sowie strukturiertes JSON und speisen Sie Webdaten direkt in Ihre KI-Agenten ein.
Crawl4AI ist ein Open-Source-Web-Crawler und -Scraper, der speziell dafür entwickelt wurde, Webseiten in sauberes, LLM-bereites Markdown oder strukturiertes JSON zu verwandeln. Er eignet sich für Compliance- und Audit-Experten, die externe Regulierungsportale, Richtlinienupdates oder Webdaten direkt in lokale oder cloudbasierte KI-Pipelines einlesen müssen.
Das Tool betreibt asynchrone Browser-Pools, verarbeitet dynamisches JavaScript-Rendering und unterstützt Inhaltsfilterungsstrategien wie BM25 und LXML, um überflüssigen Webseitentext zu entfernen. Es bietet CSS-, XPath- und LLM-gesteuerte Extraktionsschemata, um unübersichtliche Webseiten in typisierte Datenfelder für Audits oder Recherchen umzuwandeln.
Es eignet sich für Python-Entwickler und Compliance-Ingenieure, die automatisierte Überwachungs-Workflows oder RAG-Pipelines über Webquellen aufbauen. Es eignet sich nicht für nicht-technische Compliance-Officer, die eine Point-and-Click-Desktop-App ohne Programmieraufwand suchen.
Konvertiert Webseiten in strukturiertes Markdown mit Zitaten und Entfernung von Boilerplate.
Extrahiert typisiertes JSON mithilfe von CSS-, XPath-Schemata oder integrierter LLM-Extraktion.
Verwaltet persistente Browser-Profile, Cookies, Proxies und Stealth-Modi.
Führt BFS-, DFS- und adaptives Crawling mit dynamischer JS-Ausführung und Caching aus.
Die Python-Bibliothek und der selbst gehostete Docker-Server sind unter der Apache-2.0-Lizenz kostenlos. Crawl4AI Cloud bietet 1.000 kostenlose monatliche Credits mit kostenpflichtigen Tarifen ab $10/Monat
880 offene Remote-Stellen im KI-Training, aktualisiert am 16. November 2026; die meisten zahlen $20–$175 pro Stunde. 12 davon suchen Deutschsprachige. Zekai listet sie kostenlos; die Bewerbung läuft über die Plattform des Arbeitgebers.
Ja, es führt JavaScript aus, wartet auf das Laden von Elementen und kann vollständige Seiten nach unendlichem Scrollen (Infinite Scroll) oder nachgeladenen Bildern durchsuchen.
Sie können CSS-, XPath- oder Regex-Extraktionsstrategien ohne LLM-Schlüssel verwenden oder LLM-Extraktionsstrategien mit Ihrem eigenen Anbieter nutzen.
Der lokale Betrieb führt Browser kostenlos auf Ihrem eigenen Rechner oder Server aus, während die Cloud-API Browser, Proxies und Bot-Sperren über kostenpflichtige Credits für Sie übernimmt.
Zekai zuerst in Google sehen