whisper_streaming
Потоковая транскрипция и перевод в реальном времени для моделей Whisper.
Превратите OpenAI Whisper в систему распознавания и перевода речи с низкой задержкой.
Whisper-streaming обеспечивает транскрипцию и перевод речи в реальном времени за счет реализации локальной политики соглашений и самоадаптивной задержки поверх моделей Whisper. Это подходит разработчикам и инженерам, создающим конвейеры обработки живого аудио для многоязычных мероприятий.
Что это
Инструмент обрабатывает несегментированную длинную речь с использованием нескольких бэкендов, таких как faster-whisper, whisper-timestamped, OpenAI API или Whisper MLX. Он реализует обнаружение голосовой активности, правила нарезки на чанки и опциональные стратегии обрезки буфера для поддержания задержки на уровне около 3.3 секунд.
Для кого
Инструмент подходит разработчикам, интегрирующим транскрипцию в реальном времени в приложения или трансляции живых конференций. Он не подходит конечным пользователям, ищущим готовое к использованию настольное приложение без настройки через CLI.
Ключевые возможности
Несколько бэкендов
Поддерживает бэкенды faster-whisper, whisper-timestamped, OpenAI API и Apple Silicon MLX.
Обнаружение голосовой активности
Интегрирует опциональные VAD и контроллеры голосовой активности с использованием PyTorch.
Обрезка буфера
Предлагает опции обрезки буфера на уровне сегментов или предложений для управления задержкой и качеством.
Симуляция в реальном времени
Включает скрипты для симуляции живого потока напрямую из локальных 16кГц моно WAV-файлов.
Готово за 3 шага
Наш честный вердикт
Плюсы
- Достигает низкой задержки около 3.3 секунд на несегментированной длинной речи.
- Гибкий выбор бэкендов, включая варианты с ускорением на GPU и локальные Apple Silicon.
- Опциональные контроллеры и детекторы голосовой активности снижают нагрузку на обработку.
- Встроенная поддержка задач живого перевода наряду с транскрипцией.
Минусы
- Обратите внимание, что в 2025 году проект был заменен на SimulStreaming.
- Требует технической настройки сред Python, аудиобиблиотек и опциональных драйверов GPU.
- Использование бэкенда OpenAI API влечет за собой постоянные затраты на API за каждый запрос, которые масштабируются с размером чанка.
Цены и лицензия
Бесплатно под лицензией MIT. Если вы решите использовать бэкенд OpenAI API, вам потребуется оплачивать расходы на доступ к API OpenAI в зависимости от вашего использования.
Вакансии для носителей русского языка
874 открытых удалённых вакансий по обучению ИИ, обновлено 15 ноября 2026 г.; в большинстве оплата $20–$170 в час. Из них 2 — для носителей русского языка. Zekai публикует их бесплатно; отклик уходит на платформу работодателя.
Альтернативы
Используйте сами или мы всё настроим
Вопросы
Какие бэкенды поддерживаются?
Поддерживаются faster-whisper, whisper-timestamped, OpenAI API и Whisper MLX для Apple Silicon.
Требуется ли GPU?
Для faster-whisper рекомендуется GPU с поддержкой CUDA, но вы также можете использовать Apple Silicon MLX или бэкенд OpenAI API.
Как обрабатывается задержка?
Используется политика локального соглашения с самоадаптивной задержкой и минимальным размером чанков для обработки аудио в реальном времени.
