pathway
Framework ETL em Python para processamento de streams, análise em tempo real e RAG.
Framework ETL em Python para análises em tempo real, pipelines de LLM e RAG.
Pathway é um framework ETL em Python alimentado por um motor Rust escalável para processamento de streams e análises em tempo real. Ele atende profissionais que constroem aplicações de LLM ao vivo e pipelines de RAG usando Python.
O que é
Ele executa pipelines de dados em Python sobre dados em lote e de streaming usando um motor Rust de Differential Dataflow. Inclui conectores para Kafka, PostgreSQL e GDrive, juntamente com auxiliares especializados de LLM para Vector Indexes em tempo real.
Para quem
Ele atende desenvolvedores que constroem feeds de dados ao vivo e sistemas de RAG que desejam programar em Python mantendo a performance do Rust. Não é adequado para equipes que buscam construtores de pipelines com interface gráfica sem código.
Recursos principais
Motor Rust Escalável
Executa código Python através de um motor Rust de Differential Dataflow para multithreading e computações distribuídas.
Lote e Stream Unificados
Processa trabalhos em lote, replays de stream e streams de dados usando exatamente a mesma base de código.
Ferramentas para LLM e RAG
Fornece wrappers, parsers, embedders e um Vector Index em tempo real em memória para RAG de documentos ao vivo.
Conectores Extensos
Conecta-se a Kafka, GDrive, PostgreSQL, SharePoint e mais de 300 fontes de dados via Airbyte.
Pronto em 3 passos
Nosso veredito honesto
Pontos fortes
- A mesma base de código lida com desenvolvimento local, trabalhos em lote e streams em tempo real
- A extensão de LLM integrada inclui embedders, splitters e vector indexes em tempo real
- Lida com pontos de dados fora de ordem e atrasados com atualizações automáticas de consistência
- Suporta integração com Airbyte para conexão com mais de 300 fontes de dados externas
Onde deixa a desejar
- Disponível nativamente apenas em MacOS e Linux, exigindo uma Máquina Virtual para outros sistemas operacionais
- A versão gratuita fornece consistência 'pelo menos uma vez' enquanto 'exatamente uma vez' requer uma versão empresarial
- Requer habilidade técnica para configurar ambientes Python, dependências e implantação de containers
Preços & licença
O repositório não declara um nome de licença em seus metadados, e o README menciona versões gratuita e empresarial com garantias de consistência diferentes.
Vagas para quem fala português
879 vagas remotas abertas de treinamento de IA, atualizadas em 15 de novembro de 2026; a maioria paga $20–$175 por hora. 8 delas pedem falantes de português. O Zekai lista de graça; a candidatura vai para a plataforma do empregador.
Alternativas
Use, ou deixe que a gente configure
FAQ
Quais sistemas operacionais são suportados?
O Pathway está oficialmente disponível em MacOS e Linux. Usuários de outros sistemas devem executá-lo dentro de uma Máquina Virtual.
Ele suporta tanto lote quanto streaming?
Sim, o framework usa um motor unificado permitindo que o mesmo código gerencie trabalhos em lote, replays de stream e streams em tempo real.
Como ele se conecta a fontes externas?
Inclui conectores nativos para Kafka, GDrive, PostgreSQL e SharePoint, além de um conector Airbyte para mais de 300 fontes adicionais.
