WhisperSpeech
Sistema de conversão de texto em fala de código aberto construído invertendo o Whisper.
Sistema de conversão de texto em fala de código aberto construído invertendo o OpenAI Whisper
O WhisperSpeech é um sistema de conversão de texto em fala de código aberto que inverte o OpenAI Whisper, com o objetivo de igualar o impacto do Stable Diffusion para áudio. É adequado para desenvolvedores e pesquisadores que constroem pipelines de geração de voz personalizados para cidades inteligentes e aplicações do setor público.
O que é
Ele usa um pipeline baseado em tokens de dois estágios combinando o OpenAI Whisper para tokens semânticos, o EnCodec para tokenização de formas de onda e o Vocos para vocodificação neural. Ele suporta inferência rápida via torch.compile e KV-caching, permitindo desempenho em tempo real em GPUs de consumo.
Para quem
É adequado para desenvolvedores e pesquisadores que precisam de modelos de texto em fala modificáveis e comercialmente seguros com recursos de clonagem de voz. Não é adequado para usuários que procuram aplicativos simples prontos para uso final sem configuração técnica.
Recursos principais
Inversão do OpenAI Whisper
Usa o Whisper para mapear transcrições para tokens semânticos para conversão de texto em fala.
Suporte a Clonagem de Voz
Permite clonagem de voz com um clique a partir de amostras de áudio de referência.
Inferência Rápida em GPU
Alcança desempenho 12x mais rápido que o tempo real em uma RTX 4090 usando torch.compile e KV-caching.
Alternância de Idiomas Multilíngue
Suporta a mistura de vários idiomas perfeitamente em uma única frase.
Pronto em 3 passos
Nosso veredito honesto
Pontos fortes
- Treinado apenas com dados devidamente licenciados.
- Inclui recursos de alternância de código em vários idiomas.
- Alcança altas velocidades de execução em hardware de consumo como a RTX 4090.
- Emprega um pipeline de geração de áudio comparável ao AudioLM e SPEAR TTS.
Onde deixa a desejar
- Requer habilidade técnica significativa com PyTorch e Jupyter Notebooks.
- Executar a geração de alto desempenho requer GPUs dedicadas de consumo ou corporativas.
- Os modelos multilíngues finais ainda estão em desenvolvimento ativo e conclusão do roteiro.
Preços & licença
O software é gratuito sob suas licenças de código aberto, sem opções hospedadas pagas mencionadas no README. Seus únicos custos são os recursos de computação necessários para executar os modelos.
Vagas para quem fala português
876 vagas remotas abertas de treinamento de IA, atualizadas em 15 de novembro de 2026; a maioria paga $20–$170 por hora. 8 delas pedem falantes de português. O Zekai lista de graça; a candidatura vai para a plataforma do empregador.
Alternativas
Use, ou deixe que a gente configure
FAQ
Em quais dados os modelos foram treinados?
Os modelos são treinados exclusivamente com dados devidamente licenciados, começando com o lançamento em inglês do LibreLight.
Posso realizar clonagem de voz com o WhisperSpeech?
Sim, o sistema suporta clonagem de voz com um clique a partir de pequenos arquivos de áudio de referência.
Qual hardware é necessário para geração rápida?
Os desenvolvedores alcançaram desempenho 12x em tempo real usando uma GPU RTX 4090 de consumo com o torch.compile ativado.
