pathway
Framework de ETL en Python para procesamiento de flujos, análisis en tiempo real y RAG.
Framework de ETL en Python para análisis en tiempo real, pipelines de LLM y RAG.
Pathway es un framework de ETL en Python impulsado por un motor de Rust escalable para procesamiento de flujos y análisis en tiempo real. Está pensado para profesionales que construyen aplicaciones de LLM en vivo y pipelines de RAG usando Python.
Qué es
Ejecuta pipelines de datos en Python sobre datos por lotes y en streaming utilizando un motor de Rust con Differential Dataflow. Incluye conectores para Kafka, PostgreSQL y GDrive, junto con herramientas especializadas de LLM para índices vectoriales en tiempo real.
Para quién
Es ideal para desarrolladores que construyen fuentes de datos en vivo y sistemas RAG que quieren programar en Python sin perder el rendimiento de Rust. No es adecuado para equipos que buscan constructores de pipelines con interfaz gráfica sin código.
Funciones clave
Motor de Rust escalable
Ejecuta código Python mediante un motor de Rust con Differential Dataflow para multihilo y cálculos distribuidos.
Lotes y flujos unificados
Procesa trabajos por lotes, reproducciones de flujos y flujos de datos usando exactamente la misma base de código.
Herramientas para LLM y RAG
Proporciona envoltorios, analizadores, incrustadores y un índice vectorial en tiempo real en memoria para RAG de documentos en vivo.
Conectores extensos
Se conecta a Kafka, GDrive, PostgreSQL, SharePoint y más de 300 fuentes de datos a través de Airbyte.
Listo en 3 pasos
Nuestro veredicto honesto
Lo mejor
- La misma base de código maneja el desarrollo local, los trabajos por lotes y los flujos en tiempo real
- La extensión de LLM integrada incluye incrustadores, divisores e índices vectoriales en tiempo real
- Maneja datos desordenados y tardíos con actualizaciones de consistencia automáticas
- Es compatible con la integración de Airbyte para conectar con más de 300 fuentes de datos externas
Sus límites
- Disponible de forma nativa solo en MacOS y Linux, lo que requiere una máquina virtual para otros sistemas operativos
- La versión gratuita ofrece consistencia de 'al menos una vez' mientras que 'exactamente una vez' requiere una versión empresarial
- Requiere conocimientos técnicos para configurar entornos de Python, dependencias y despliegue en contenedores
Precios y licencia
El repositorio no indica un nombre de licencia en sus metadatos, y el README menciona versiones gratuitas y empresariales con diferentes garantías de consistencia.
Empleos para hispanohablantes
879 puestos remotos abiertos de entrenamiento de IA, actualizados el 15 de noviembre de 2026; la mayoría paga $20–$175 por hora. 22 de ellos piden hispanohablantes. Zekai los lista gratis; la solicitud va a la plataforma del empleador.
Alternativas
Úsalo, o deja que lo configuremos
FAQ
¿Qué sistemas operativos son compatibles?
Pathway está disponible oficialmente en MacOS y Linux. Los usuarios de otros sistemas deben ejecutarlo dentro de una máquina virtual.
¿Es compatible tanto con procesamiento por lotes como en streaming?
Sí, el framework utiliza un motor unificado que permite que el mismo código maneje trabajos por lotes, reproducciones de flujos y flujos en tiempo real.
¿Cómo se conecta a fuentes externas?
Incluye conectores integrados para Kafka, GDrive, PostgreSQL y SharePoint, además de un conector de Airbyte para más de 300 fuentes adicionales.
