Modèle multilingue de reconnaissance vocale (ASR), de reconnaissance des émotions et de détection d'événements audio.
Reconnaissance vocale multilingue, détection des émotions et analyse d'événements audio pour les développeurs.
SenseVoice est un modèle de fondation vocale open source fournissant l'ASR, l'identification des langues, la reconnaissance des émotions vocales et la détection d'événements audio. Il convient aux développeurs et aux chercheurs traitant des fichiers audio en mandarin, cantonais, anglais, japonais et coréen.
Le modèle traite l'audio via un framework de bout en bout non autorégressif pour fournir des transcriptions à faible latence ainsi que de riches balises d'émotion et d'événements sonores. Il prend en charge la segmentation FSMN-VAD optionnelle pour les fichiers audio longs ou un script de fenêtrage à mémoire bornée pour les enregistrements d'une durée de l'heure.
Il convient aux ingénieurs et aux chercheurs créant des applications vocales ou analysant des jeux de données audio multilingues nécessitant un étiquetage des émotions. Il ne convient pas aux utilisateurs recherchant une application de transcription finale prête à l'emploi sans travail de développement en Python.
Prend en charge la reconnaissance automatique de la parole et l'identification de la langue pour le mandarin, le cantonais, l'anglais, le japonais et le coréen.
Détecte les balises d'émotion à partir de l'audio brut sans dépendre uniquement des transcriptions textuelles formatées.
Identifie les événements courants d'interaction homme-machine, notamment la musique de fond, les applaudissements, les rires, les pleurs et la toux.
Utilise une architecture de bout en bout non autorégressive pour obtenir des performances d'inférence à faible latence.
Gratuit sous licence MIT, sans option hébergée payante mentionnée dans le dépôt. Le seul coût est son exécution sur votre propre matériel.
877 missions ouvertes à distance en entraînement d’IA, mises à jour le 16 novembre 2026 ; la plupart paient $20–$175 de l’heure. 8 d’entre elles demandent des francophones. Zekai les liste gratuitement ; la candidature se fait sur la plateforme de l’employeur.
Le point de contrôle SenseVoiceSmall publié prend en charge le mandarin, le cantonais, l'anglais, le japonais et le coréen.
Vous pouvez segmenter l'audio à l'aide de FSMN-VAD ou utiliser le script long_audio_no_vad.py fourni, qui décode via ffmpeg sur des fenêtres fixes de 30 secondes.
Non, la diarisation des locuteurs est gérée via un pipeline FunASR composé utilisant des modèles FSMN-VAD et CAM++ séparés.
Voir Zekai en premier dans Google