pathway
Python ETL-Framework für Stream-Verarbeitung, Echtzeit-Analysen und RAG.
Python ETL-Framework für Echtzeit-Analysen, LLM-Pipelines und RAG.
Pathway ist ein Python ETL-Framework, angetrieben von einer skalierbaren Rust-Engine für Stream-Verarbeitung und Echtzeit-Analysen. Es eignet sich für Fachleute, die Live-LLM-Anwendungen und RAG-Pipelines mit Python erstellen.
Was es ist
Es führt Python-Datenpipelines über Batch- und Streaming-Daten mithilfe einer Differential-Dataflow-Rust-Engine aus. Es enthält Konnektoren für Kafka, PostgreSQL und GDrive sowie spezielle LLM-Helfer für Echtzeit-Vektorindizes.
Für wen
Es eignet sich für Entwickler, die Live-Daten-Feeds und RAG-Systeme erstellen und in Python programmieren möchten, während sie die Rust-Performance beibehalten. Es eignet sich nicht für Teams, die nach Code-freien UI-Pipeline-Buildern suchen.
Wichtige Funktionen
Skalierbare Rust-Engine
Führt Python-Code über eine Differential-Dataflow-Rust-Engine für Multithreading und verteilte Berechnungen aus.
Einheitlicher Batch und Stream
Verarbeitet Batch-Jobs, Stream-Replays und Datenströme mit derselben Codebasis.
LLM- und RAG-Werkzeuge
Bietet Wrapper, Parser, Embedder und einen In-Memory-Echtzeit-Vektorindex für Live-Dokumenten-RAG.
Umfangreiche Konnektoren
Verbindet sich mit Kafka, GDrive, PostgreSQL, SharePoint und über 300 Datenquellen über Airbyte.
Startklar in 3 Schritten
Unser ehrliches Fazit
Stärken
- Dieselbe Codebasis verarbeitet lokale Entwicklung, Batch-Jobs und Echtzeit-Streams
- Integrierte LLM-Erweiterung umfasst Embedder, Splitter und Echtzeit-Vektorindizes
- Verarbeitet ungeordnete und verspätete Datenpunkte mit automatischen Konsistenzupdates
- Unterstützt die Airbyte-Integration zur Anbindung an über 300 externe Datenquellen
Schwächen
- Nativ nur auf MacOS und Linux verfügbar, erfordert eine Virtuelle Maschine für andere Betriebssysteme
- Die kostenlose Version bietet Konsistenz nach dem Prinzip 'mindestens einmal' ('at least once'), während 'genau einmal' ('exactly once') eine Enterprise-Version erfordert
- Erfordert technisches Know-how zum Einrichten von Python-Umgebungen, Abhängigkeiten und Container-Bereitstellung
Preise & Lizenz
Das Repository gibt in seinen Metadaten keinen Lizenznamen an, und die README erwähnt kostenlose und Enterprise-Versionen mit unterschiedlichen Konsistenzgarantien.
Stellen für Deutschsprachige
879 offene Remote-Stellen im KI-Training, aktualisiert am 15. November 2026; die meisten zahlen $20–$175 pro Stunde. 12 davon suchen Deutschsprachige. Zekai listet sie kostenlos; die Bewerbung läuft über die Plattform des Arbeitgebers.
Alternativen
Nutze es, oder lass es uns einrichten
FAQ
Welche Betriebssysteme werden unterstützt?
Pathway ist offiziell für MacOS und Linux verfügbar. Benutzer anderer Systeme müssen es in einer Virtuellen Maschine ausführen.
Unterstützt es sowohl Batch als auch Streaming?
Ja, das Framework verwendet eine einheitliche Engine, mit der derselbe Code Batch-Jobs, Stream-Replays und Echtzeit-Streams verarbeiten kann.
Wie verbindet es sich mit externen Quellen?
Es enthält integrierte Konnektoren für Kafka, GDrive, PostgreSQL und SharePoint sowie einen Airbyte-Konnektor für über 300 zusätzliche Quellen.
