pathway
Python ETL фреймворк для потоковой обработки, аналитики в реальном времени и RAG.
Python ETL фреймворк для аналитики в реальном времени, LLM конвейеров и RAG.
Pathway — это Python ETL фреймворк на базе масштабируемого движка Rust для потоковой обработки и аналитики в реальном времени. Он подходит профессионалам, создающим живые LLM приложения и RAG конвейеры на Python.
Что это
Он выполняет конвейеры данных на Python для пакетных и потоковых данных с использованием движка Differential Dataflow на Rust. Он включает коннекторы для Kafka, PostgreSQL и GDrive, а также специализированные помощники LLM для векторных индексов в реальном времени.
Для кого
Он подходит разработчикам, создающим потоки данных в реальном времени и RAG системы, которые хотят писать код на Python, сохраняя при этом производительность Rust. Он не подходит командам, ищущим конструкторы конвейеров с интерфейсом без кода (zero-code UI).
Ключевые возможности
Масштабируемый движок Rust
Выполняет код Python через движок Differential Dataflow на Rust для многопоточности и распределенных вычислений.
Единые пакеты и потоки
Обрабатывает пакетные задания, повторы потоков и потоки данных, используя тот же самый кодовую базу.
Инструменты для LLM и RAG
Предоставляет обертки, парсеры, эмбеддеры и векторный индекс в реальном времени в памяти для RAG живых документов.
Широкие возможности подключения
Подключается к Kafka, GDrive, PostgreSQL, SharePoint и более чем 300 источникам данных через Airbyte.
Готово за 3 шага
Наш честный вердикт
Плюсы
- Один и тот же кодовая база обрабатывает локальную разработку, пакетные задания и потоки в реальном времени
- Встроенное расширение LLM включает эмбеддеры, сплиттеры и векторные индексы в реальном времени
- Обрабатывает неупорядоченные и запоздалые данные с автоматическим обновлением согласованности
- Поддерживает интеграцию Airbyte для подключения к более чем 300 внешним источникам данных
Минусы
- Доступна нативно только на MacOS и Linux, требуя виртуальную машину для других операционных систем
- Бесплатная версия обеспечивает согласованность 'at least once', в то время как 'exactly once' требует корпоративную версию
- Требует технических навыков для настройки сред Python, зависимостей и развертывания контейнеров
Цены и лицензия
Репозиторий не указывает название лицензии в своих метаданных, а README упоминает бесплатную и корпоративную версии с различными гарантиями согласованности.
Вакансии для носителей русского языка
879 открытых удалённых вакансий по обучению ИИ, обновлено 15 ноября 2026 г.; в большинстве оплата $20–$175 в час. Из них 2 — для носителей русского языка. Zekai публикует их бесплатно; отклик уходит на платформу работодателя.
Альтернативы
Используйте сами или мы всё настроим
Вопросы
Какие операционные системы поддерживаются?
Pathway официально доступна на MacOS и Linux. Пользователи других систем должны запускать ее внутри виртуальной машины.
Поддерживает ли она как пакетную обработку, так и потоковую?
Да, фреймворк использует единый движок, позволяющий одному и тому же коду обрабатывать пакетные задания, повторы потоков и потоки в реальном времени.
Как она подключается к внешним источникам?
Она включает встроенные коннекторы для Kafka, GDrive, PostgreSQL и SharePoint, а также коннектор Airbyte для более чем 300 дополнительных источников.
