WhisperSpeech
Система преобразования текста в речь с открытым исходным кодом, созданная путем инвертирования Whisper.
Система преобразования текста в речь с открытым исходным кодом, созданная путем инвертирования OpenAI Whisper
WhisperSpeech — это система преобразования текста в речь с открытым исходным кодом, которая инвертирует OpenAI Whisper, стремясь оказать на аудио такое же влияние, как Stable Diffusion. Она подходит для разработчиков и исследователей, создающих кастомные конвейеры генерации голоса для умных городов и приложений государственного сектора.
Что это
Она использует двухэтапный конвейер на основе токенов, объединяющий OpenAI Whisper для семантических токенов, EnCodec для токенизации сигналов и Vocos для нейронного вокодинга. Поддерживает быстрый вывод через torch.compile и кэширование KV, обеспечивая производительность в реальном времени на потребительских GPU.
Для кого
Она подходит разработчикам и исследователям, которым нужны модифицируемые, безопасные с коммерческой точки зрения модели преобразования текста в речь с возможностями клонирования голоса. Она не подходит пользователям, ищущим простые приложения для конечных пользователей по принципу plug-and-play без технической настройки.
Ключевые возможности
Инверсия OpenAI Whisper
Использует Whisper для сопоставления расшифровок с семантическими токенами для преобразования в речь.
Поддержка клонирования голоса
Обеспечивает клонирование голоса в один клик по эталонным аудиосемплам.
Быстрый вывод на GPU
Достигает производительности в 12 раз быстрее реального времени на RTX 4090 с использованием torch.compile и кэширования KV.
Многоязычное переключение кодов
Поддерживает плавное смешивание нескольких языков в рамках одного предложения.
Готово за 3 шага
Наш честный вердикт
Плюсы
- Обучена только на должным образом лицензированных данных.
- Включает возможности переключения кодов на нескольких языках.
- Достигает высокой скорости выполнения на потребительском оборудовании вроде RTX 4090.
- Использует конвейер генерации аудио, сопоставимый с AudioLM и SPEAR TTS.
Минусы
- Требует значительных технических навыков работы с PyTorch и Jupyter Notebooks.
- Запуск высокопроизводительной генерации требует выделенных потребительских или корпоративных GPU.
- Финальные многоязычные модели все еще находятся в стадии активной разработки и выполнения дорожной карты.
Цены и лицензия
Программное обеспечение является бесплатным по лицензиям с открытым исходным кодом, в README не упоминаются платные хостинговые варианты. Ваши единственные затраты — это вычислительные ресурсы, необходимые для запуска моделей.
Вакансии для носителей русского языка
876 открытых удалённых вакансий по обучению ИИ, обновлено 15 ноября 2026 г.; в большинстве оплата $20–$170 в час. Из них 2 — для носителей русского языка. Zekai публикует их бесплатно; отклик уходит на платформу работодателя.
Альтернативы
Используйте сами или мы всё настроим
Вопросы
На каких данных обучались модели?
Модели обучены исключительно на должным образом лицензированных данных, начиная с англоязычного релиза LibreLight.
Могу ли я выполнять клонирование голоса с помощью WhisperSpeech?
Да, система поддерживает клонирование голоса в один клик из коротких эталонных аудиофайлов.
какое аппаратное обеспечение требуется для быстрой генерации?
Разработчики достигли производительности в 12 раз быстрее реального времени, используя потребительский GPU RTX 4090 с включенным torch.compile.
