Генерирует и декодирует звуковые эффекты из текстовых запросов или видеопоследовательностей с использованием открытых базовых моделей.
Открытые базовые модели от Sony AI для кодирования звука, создания звуковых эффектов по текстовому описанию и синхронизации звука с видео.
Woosh — это базовый инструментарий для создания звуковых эффектов, разработанный Sony AI для синтеза звука из текста и видео. Он предлагает модели латентной диффузии в сочетании с аудиокодером и декодером для саунд-дизайнеров и разработчиков игр. Вы можете запускать скрипты инференса, открывать локальные веб-интерфейсы в браузере или интегрировать генерацию в собственные пайплайны через API сервер.
Репозиторий предоставляет набор моделей, включая Woosh-AE для латентного кодирования звука, Woosh-CLAP для текстового кондиционирования, а также модели латентной диффузии, такие как Woosh-Flow и Woosh-VFlow. Он синтезирует звук напрямую из описательных текстовых запросов или синхронизирует сгенерированный звук с входными видеофайлами. Управление инструментами и их запуск осуществляются через Python скрипты с использованием менеджера окружения uv.
Инструмент подходит для разработчиков игр, технических саунд-дизайнеров и исследователей аудио на базе AI, стремящихся генерировать оригинальные аудиоматериалы локально. Он менее подходит для нетехнических создателей, которым нужен готовый плагин для цифровой звуковой рабочей станции или немедленные коммерческие права.
Синтезирует пользовательские звуковые эффекты напрямую из текстовых описаний с использованием стандартных и дистиллированных диффузионных моделей.
Создает аудиодорожки, синхронизированные с входными видеопоследовательностями, с помощью мультимодальной латентной диффузии.
Сжимает исходный аудиосигнал в нейронные латентные представления и восстанавливает высококачественные формы волн с помощью Woosh-AE.
Предоставляет веб-интерфейсы для тестирования генерации звука из текста в вашем локальном браузере.
Исходный код бесплатен и открыт под лицензиями MIT и Apache-2.0. Тем не менее, предобученные веса моделей используют некоммерческую лицензию CC-BY-NC. Запуск проекта требует собственного локального GPU оборудования.
896 открытых удалённых вакансий по обучению ИИ, обновлено 16 ноября 2026 г.; в большинстве оплата $20–$175 в час. Из них 2 — для носителей русского языка. Zekai публикует их бесплатно; отклик уходит на платформу работодателя.
Эти проверенные ИИ-инструменты делают то же самое мгновенно — из нашего оценённого каталога.
Исходный код репозитория использует лицензии Apache-2.0 и MIT, но открытые веса моделей, предоставляемые в релизах GitHub, лицензированы под CC-BY-NC, что ограничивает коммерческое использование без дополнительных соглашений.
Нет. После установки зависимостей и скачивания чекпоинтов моделей локально, вся генерация звука работает офлайн.
Zekai первым в Google