pathway
Cadriciel ETL Python pour le traitement de flux, l'analytique en temps réel et le RAG.
Cadriciel ETL Python pour l'analytique en temps réel, les pipelines LLM et le RAG.
Pathway est un cadriciel ETL Python propulsé par un moteur Rust évolutif pour le traitement de flux et l'analytique en temps réel. Il convient aux professionnels développant des applications LLM en direct et des pipelines RAG en Python.
Qu'est-ce que c'est
Il exécute des pipelines de données Python sur des données par lots et en flux à l'aide d'un moteur Rust Differential Dataflow. Il comprend des connecteurs pour Kafka, PostgreSQL et GDrive, ainsi que des assistants LLM spécialisés pour les Vector Indexes en temps réel.
Pour qui
Il convient aux développeurs créant des flux de données en direct et des systèmes RAG qui souhaitent coder en Python tout en conservant les performances de Rust. Il ne convient pas aux équipes recherchant des constructeurs de pipelines avec une interface graphique sans code.
Fonctionnalités clés
Moteur Rust évolutif
Exécute du code Python via un moteur Rust Differential Dataflow pour le multithreading et les calculs distribués.
Batch et flux unifiés
Traite les tâches par lots, la relecture de flux et les flux de données en utilisant exactement la même base de code.
Outils LLM et RAG
Fournit des wrappers, des parseurs, des embedders et un Vector Index en temps réel en mémoire pour le RAG sur documents en direct.
Connecteurs étendus
Se connecte à Kafka, GDrive, PostgreSQL, SharePoint et plus de 300 sources de données via Airbyte.
Opérationnel en 3 étapes
Notre verdict honnête
Ses atouts
- La même base de code gère à la fois le développement local, les tâches par lots et les flux en temps réel
- L'extension LLM intégrée comprend des embedders, des splitters et des vector indexes en temps réel
- Gère les points de données désordonnés et tardifs avec des mises à jour de cohérence automatiques
- Prend en charge l'intégration Airbyte pour se connecter à plus de 300 sources de données externes
Ses limites
- Uniquement disponible nativement sur MacOS et Linux, nécessitant une machine virtuelle pour les autres systèmes d'exploitation
- La version gratuite offre une cohérence 'au moins une fois' ('at least once'), tandis que 'exactement une fois' ('exactly once') nécessite une version entreprise
- Requiert des compétences techniques pour configurer les environnements Python, les dépendances et le déploiement de conteneurs
Tarifs & licence
Le dépôt n'indique pas de nom de licence dans ses métadonnées, et le README mentionne des versions gratuite et entreprise avec des garanties de cohérence différentes.
Missions pour francophones
879 missions ouvertes à distance en entraînement d’IA, mises à jour le 15 novembre 2026 ; la plupart paient $20–$175 de l’heure. 8 d’entre elles demandent des francophones. Zekai les liste gratuitement ; la candidature se fait sur la plateforme de l’employeur.
Alternatives
Utilisez-le, ou laissez-nous l'installer
FAQ
Quels systèmes d'exploitation sont pris en charge ?
Pathway est officiellement disponible sur MacOS et Linux. Les utilisateurs d'autres systèmes doivent l'exécuter dans une machine virtuelle.
Prend-il en charge à la fois le batch et le streaming ?
Oui, le cadriciel utilise un moteur unifié permettant au même code de gérer les tâches par lots, la relecture de flux et les flux en temps réel.
Comment se connecte-t-il aux sources externes ?
Il comprend des connecteurs intégrés pour Kafka, GDrive, PostgreSQL et SharePoint, ainsi qu'un connecteur Airbyte pour plus de 300 sources supplémentaires.
