Modelo orientado por áudio que gera vídeos conversacionais de várias pessoas a partir de áudio de múltiplos fluxos e uma imagem de referência.
Gere uma conversa entre várias pessoas, cada uma com sincronização labial com o seu próprio áudio.
MultiTalk é um framework da MeiGen-AI para vídeos conversacionais com múltiplas pessoas orientados por áudio. Dados fluxos de áudio separados, uma imagem de referência e um prompt, ele renderiza pessoas interagindo com movimento labial correspondente. É adequado para desenvolvedores com uma GPU potente.
O README descreve entrada de áudio de múltiplos fluxos mais um prompt, com inferência multi-GPU, TeaCache, APG e um modo de baixa VRAM que roda 480P em uma única RTX 4090. O código atual suporta 480P apenas em uma única GPU, e 720P requer múltiplas GPUs.
Adequado para pesquisadores e desenvolvedores que criam clipes com vários falantes, como entrevistas. Não é adequado para usuários que desejam um estúdio, modelos prontos ou vozes integradas.
Trilhas de áudio separadas controlam cada pessoa.
Um prompt de texto descreve como as pessoas interagem.
480P em uma única RTX 4090.
Scripts torchrun distribuem o trabalho entre GPUs.
Opções de aceleração e redução de artefatos.
Integrações da comunidade alcançam 8 GB de VRAM.
Gratuito sob Apache-2.0. O README não lista nenhum plano hospedado ou pago, portanto o único custo é a sua própria GPU ou uma alugada.
897 vagas remotas abertas de treinamento de IA, atualizadas em 17 de novembro de 2026; a maioria paga $20–$170 por hora. 10 delas pedem falantes de português. O Zekai lista de graça; a candidatura vai para a plataforma do empregador.
Estas ferramentas de IA avaliadas fazem o mesmo trabalho na hora — do nosso diretório avaliado.
Sim. Ele aceita entrada de áudio de múltiplos fluxos e controla cada pessoa com o seu próprio áudio.
Sim em 480P: o README diz que o modo de baixa VRAM permite 480P em uma única RTX 4090. 720P requer várias GPUs.
O código é Apache-2.0; verifique a licença dos pesos do modelo base baixados por ele.
Veja o Zekai primeiro no Google