Многоязычная модель распознавания речи (ASR), распознавания эмоций и обнаружения аудиособытий.
Многоязычное распознавание речи, определение эмоций и анализ аудиособытий для разработчиков.
SenseVoice — это базовая модель распознавания речи с открытым исходным кодом, обеспечивающая ASR, определение языка, распознавание эмоций в речи и обнаружение аудиособытий. Она подходит для разработчиков и исследователей, обрабатывающих аудио на путунхуа (мандаринском), кантонском, английском, японском и корейском языках.
Модель обрабатывает аудио с помощью неавторегрессивного сквозного фреймворка, обеспечивая транскрипцию с низкой задержкой наряду с богатыми тегами эмоций и звуковых событий. Она поддерживает опциональную сегментацию FSMN-VAD для длинных аудиозаписей или скрипт с ограниченным окном памяти для записей часовой длительности.
Она подходит для инженеров и исследователей, создающих голосовые приложения или анализирующих многоязычные аудиоданные с требованиями к тегированию эмоций. Она не подходит для пользователей, ищущих готовое приложение для транскрипции без необходимости разработки на Python.
Поддерживает автоматическое распознавание речи и определение языка для путунхуа, кантонского, английского, японского и корейского языков.
Определяет теги эмоций по исходному аудио, не полагаясь исключительно на отформатированный текстовый транскрипт.
Идентифицирует распространенные события взаимодействия человека с компьютером, включая фоновую музыку, аплодисменты, смех, плач и кашель.
Использует неавторегрессивную сквозную архитектуру для достижения низкой задержки инференса.
Бесплатно по лицензии MIT, в репозитории не упомянуты платные хостинговые варианты. Единственные затраты — это запуск на собственном оборудовании.
877 открытых удалённых вакансий по обучению ИИ, обновлено 16 ноября 2026 г.; в большинстве оплата $20–$175 в час. Из них 2 — для носителей русского языка. Zekai публикует их бесплатно; отклик уходит на платформу работодателя.
Выпущенный чекпоинт SenseVoiceSmall поддерживает путунхуа, кантонский, английский, японский и корейский языки.
Вы можете сегментировать аудио с помощью FSMN-VAD или использовать предоставленный скрипт long_audio_no_vad.py, который выполняет декодирование через ffmpeg на фиксированных 30-секундных окнах.
Нет, диаризация спикеров обрабатывается через составной пайплайн FunASR с использованием отдельных моделей FSMN-VAD и CAM++.
Zekai первым в Google