whisper_streaming
Transcription et traduction en flux continu en temps réel pour les modèles Whisper.
Transformez OpenAI Whisper en un système de transcription vocale et de traduction à faible latence.
Whisper-streaming fournit une transcription et une traduction vocales en temps réel en s'appuyant sur une politique d'accord local et une latence auto-adaptative par-dessus les modèles Whisper. Il convient aux développeurs et aux technologues qui conçoivent des pipelines de traitement audio en direct pour des événements multilingues.
Qu'est-ce que c'est
L'outil traite la parole longue non segmentée en utilisant plusieurs backends tels que faster-whisper, whisper-timestamped, l'API OpenAI ou Whisper MLX. Il met en œuvre la détection d'activité vocale, des politiques de découpage en blocs et des stratégies optionnelles de rognage de tampon pour maintenir la latence autour de 3,3 secondes.
Pour qui
Il convient aux développeurs qui intègrent la transcription en temps réel dans des applications ou des flux de conférences en direct. Il ne convient pas aux utilisateurs finaux recherchant une application de bureau prête à l'emploi sans configuration en ligne de commande.
Fonctionnalités clés
Plusieurs backends
Prend en charge les backends faster-whisper, whisper-timestamped, l'API OpenAI et Apple Silicon MLX.
Détection d'activité vocale
Intègre des contrôleurs de VAD et d'activité vocale optionnels à l'aide de PyTorch.
Rognage de tampon
Offre des options de rognage de tampon au niveau du segment ou de la phrase pour gérer la latence et la qualité.
Simulation en temps réel
Comprend des scripts pour simuler la diffusion en direct directement à partir de fichiers WAV mono 16 kHz locaux.
Opérationnel en 3 étapes
Notre verdict honnête
Ses atouts
- Atteint une faible latence d'environ 3,3 secondes sur la parole longue non segmentée.
- Choix de backend flexible comprenant des options accélérées par GPU et Apple Silicon local.
- Les contrôleurs et détecteurs d'activité vocale optionnels réduisent la surcharge de traitement.
- Prise en charge intégrée des tâches de traduction en direct en plus de la transcription.
Ses limites
- Notez que le projet a succédé à SimulStreaming en 2025.
- Nécessite une configuration technique des environnements Python, des bibliothèques audio et des pilotes GPU optionnels.
- L'utilisation du backend de l'API OpenAI entraîne des coûts d'API continus par requête qui évoluent avec la taille des blocs.
Tarifs & licence
Gratuit sous licence MIT. Si vous choisissez d'utiliser le backend de l'API OpenAI, vous devrez payer à OpenAI les coûts d'accès à l'API en fonction de votre utilisation.
Missions pour francophones
874 missions ouvertes à distance en entraînement d’IA, mises à jour le 15 novembre 2026 ; la plupart paient $20–$170 de l’heure. 8 d’entre elles demandent des francophones. Zekai les liste gratuitement ; la candidature se fait sur la plateforme de l’employeur.
Alternatives
Utilisez-le, ou laissez-nous l'installer
FAQ
Quels backends sont pris en charge ?
Il prend en charge faster-whisper, whisper-timestamped, l'API OpenAI et Whisper MLX pour Apple Silicon.
Un GPU est-il requis ?
Un GPU avec prise en charge de CUDA est recommandé pour faster-whisper, mais vous pouvez également utiliser Apple Silicon MLX ou le backend de l'API OpenAI.
Comment gère-t-il la latence ?
Il utilise une politique d'accord local avec une latence auto-adaptative et une taille de bloc minimale pour traiter l'audio en temps réel.
