WhisperSpeech
Sistema de texto a voz de código abierto construido invirtiendo Whisper.
Sistema de texto a voz de código abierto construido invirtiendo OpenAI Whisper
WhisperSpeech es un sistema de texto a voz de código abierto que invierte OpenAI Whisper, con el objetivo de igualar el impacto de Stable Diffusion en el audio. Se adapta a desarrolladores e investigadores que crean canales de generación de voz personalizados para ciudades inteligentes y aplicaciones del sector público.
Qué es
Utiliza un pipeline basado en tokens de dos etapas que combina OpenAI Whisper para tokens semánticos, EnCodec para la tokenización de formas de onda y Vocos para la codificación neuronal de voz. Permite una inferencia rápida mediante torch.compile y almacenamiento en caché KV, logrando un rendimiento en tiempo real en GPUs de consumo.
Para quién
Es ideal para desarrolladores e investigadores que necesitan modelos de texto a voz modificables y comercialmente seguros con capacidades de clonación de voz. No es adecuado para usuarios que buscan aplicaciones sencillas de usar y sin configuración técnica.
Funciones clave
Inversión de OpenAI Whisper
Utiliza Whisper para mapear transcripciones a tokens semánticos para texto a voz.
Soporte de clonación de voz
Permite la clonación de voz en un clic a partir de muestras de audio de referencia.
Inferencia rápida en GPU
Alcanza un rendimiento 12 veces más rápido que en tiempo real en una RTX 4090 usando torch.compile y caché KV.
Cambio de código multilingüe
Permite mezclar varios idiomas de forma fluida dentro de la misma frase.
Listo en 3 pasos
Nuestro veredicto honesto
Lo mejor
- Entrenado únicamente con datos debidamente licenciados.
- Incluye capacidades de cambio de código en varios idiomas.
- Alcanza altas velocidades de ejecución en hardware de consumo como la RTX 4090.
- Emplea un pipeline de generación de audio comparable a AudioLM y SPEAR TTS.
Sus límites
- Requiere una habilidad técnica significativa con PyTorch y Jupyter Notebooks.
- La ejecución de generación de alto rendimiento requiere GPUs dedicadas de consumo o empresariales.
- Los modelos multilingües finales todavía están en desarrollo activo y completando su hoja de ruta.
Precios y licencia
El software es gratuito bajo sus licencias de código abierto, sin opciones de pago alojadas mencionadas en el README. Tus únicos costes son los recursos de computación necesarios para ejecutar los modelos.
Empleos para hispanohablantes
876 puestos remotos abiertos de entrenamiento de IA, actualizados el 15 de noviembre de 2026; la mayoría paga $20–$170 por hora. 22 de ellos piden hispanohablantes. Zekai los lista gratis; la solicitud va a la plataforma del empleador.
Alternativas
Úsalo, o deja que lo configuremos
FAQ
¿Con qué datos se entrenaron los modelos?
Los modelos se entrenaron exclusivamente con datos debidamente licenciados, empezando por el lanzamiento en inglés de LibreLight.
¿Puedo clonar voces con WhisperSpeech?
Sí, el sistema permite la clonación de voz en un clic a partir de archivos de audio de referencia cortos.
¿Qué hardware se necesita para una generación rápida?
Los desarrolladores lograron un rendimiento 12 veces superior al tiempo real utilizando una GPU de consumo RTX 4090 con torch.compile activado.
