Text2Video-Zero
Gera e edita vídeos temporalmente consistentes usando modelos de difusão text-to-image sem treinamento adicional.
Transforme pipelines existentes de difusão de texto para imagem em geradores de vídeo condicionais e editores de instruções.
Text2Video-Zero é um framework de geração de vídeo zero-shot que adapta modelos Stable Diffusion para produção de vídeo. Ele permite que criadores de vídeo e desenvolvedores de IA gerem vídeos a partir de texto, pose, borda e entradas de profundidade sem treinar modelos de vídeo especializados. Você deve usá-lo se quiser experimentar a geração de vídeo open source e a edição de vídeo baseada em instruções.
O que é
A ferramenta gera clipes de vídeo temporalmente consistentes diretamente de prompts de texto ou orientação estruturada, como esqueletos de pose e bordas Canny. Ela permite a edição de vídeo guiada por instruções via Video Instruct-Pix2Pix e se integra a modelos DreamBooth personalizados. Integrações com Hugging Face Diffusers e Token Merging permitem a execução em GPUs de consumidor com apenas 7 GB VRAM.
Para quem
Esta ferramenta é adequada para pesquisadores de IA, desenvolvedores e editores de vídeo técnicos que desejam adaptar pipelines Stable Diffusion para a criação de vídeos. É ideal para equipes familiarizadas com a execução de ambientes Python e PyTorch em hardware de GPU dedicado. Não é adequada para editores não técnicos que exigem uma interface gráfica pronta para produção.
Recursos principais
Zero-Shot Text to Video
Gera sequências de vídeo temporalmente coerentes a partir de prompts de texto usando modelos Stable Diffusion pré-treinados.
Controle de Pose e Bordas
Guia a geração de vídeo usando esqueletos de movimento, detecção de bordas Canny ou mapas de profundidade MiDaS.
Edição de Vídeo Baseada em Instruções
Edita clipes de vídeo existentes usando comandos de texto via Video Instruct-Pix2Pix.
Suporte a Modelos Personalizados
Carrega modelos base Stable Diffusion arbitrários e pesos DreamBooth personalizados do Hugging Face ou Civitai.
Pronto em 3 passos
Nosso veredito honesto
Pontos fortes
- Requer treinamento zero em conjuntos de dados de vídeo para gerar saídas de clipes coerentes.
- Suporta vários modos de orientação, incluindo pose, borda, profundidade e personalização DreamBooth.
- Integrado ao Hugging Face Diffusers para acesso simplificado ao pipeline.
- Otimizações como Token Merging permitem a execução em GPUs com menos de 7 GB VRAM.
Onde deixa a desejar
- Requer hardware CUDA local ou instâncias de GPU em nuvem pagas para realizar a inferência.
- O repositório carece de uma declaração de licença open source explícita em seus metadados.
- As saídas de vídeo padrão são sequências curtas de quadros que exigem etapas de ajuste de hiperparâmetros.
- Requer familiaridade técnica com Python, ambientes virtuais e configurações do PyTorch.
Preços & licença
O código é acessível gratuitamente no GitHub, mas nenhuma licença de software explícita é especificada no repositório. O custo principal vem do hardware de computação GPU necessário para executar a inferência localmente ou em servidores em nuvem.
Vagas para quem fala português
876 vagas remotas abertas de treinamento de IA, atualizadas em 15 de novembro de 2026; a maioria paga $20–$170 por hora. 8 delas pedem falantes de português. O Zekai lista de graça; a candidatura vai para a plataforma do empregador.
Alternativas
Estas ferramentas de IA avaliadas fazem o mesmo trabalho na hora — do nosso diretório avaliado.
Use, ou deixe que a gente configure
FAQ
What hardware is required to run Text2Video-Zero locally?
Você precisa de uma GPU compatível com CUDA com pelo menos 12 GB VRAM por padrão, ou menos de 7 GB VRAM ao usar otimizações de Token Merging.
Can I use custom Stable Diffusion weights or fine-tuned models?
Sim, você pode carregar qualquer modelo base Stable Diffusion ou pesos DreamBooth personalizados convertidos para o formato Diffusers.
How do I edit existing video footage with text prompts?
Você pode usar o método Video Instruct-Pix2Pix fornecendo um arquivo de vídeo de entrada junto com instruções de texto.
