Genera y edita vídeos coherentes temporalmente utilizando modelos de difusión de texto a imagen sin necesidad de entrenamiento adicional.
Transforma pipelines existentes de difusión de texto a imagen en generadores de vídeo condicional y editores de instrucciones.
Text2Video-Zero es un framework de generación de vídeo en zero-shot que adapta modelos Stable Diffusion para la producción de vídeos. Permite a los creadores de vídeo y desarrolladores de IA generar vídeos a partir de texto, posturas, bordes y entradas de profundidad sin entrenar modelos de vídeo especializados. Debes usarlo si quieres experimentar con generación de vídeo open source y edición de vídeo basada en instrucciones.
La herramienta genera clips de vídeo coherentes temporalmente directamente desde prompts de texto o guías estructuradas como esqueletos de posturas y bordes de Canny. Permite la edición de vídeo guiada por instrucciones mediante Video Instruct-Pix2Pix y se integra con modelos DreamBooth personalizados. Las integraciones con Hugging Face Diffusers y Token Merging permiten la ejecución en GPUs de consumo con tan solo 7 GB VRAM.
Esta herramienta está dirigida a investigadores de IA, desarrolladores y editores de vídeo técnicos que buscan adaptar pipelines de Stable Diffusion para la creación de vídeos. Es ideal para equipos familiarizados con la ejecución de entornos Python y PyTorch en hardware de GPU dedicado. No es adecuada para editores no técnicos que requieran una interfaz gráfica lista para producción desde el primer momento.
Genera secuencias de vídeo coherentes temporalmente a partir de prompts de texto utilizando modelos preentrenados de Stable Diffusion.
Guía la generación de vídeo utilizando esqueletos de movimiento, detección de bordes de Canny o mapas de profundidad de MiDaS.
Edita clips de vídeo existentes utilizando comandos de texto mediante Video Instruct-Pix2Pix.
Carga modelos base arbitrarios de Stable Diffusion y pesos personalizados de DreamBooth desde Hugging Face o Civitai.
El código es accesible de forma gratuita en GitHub, pero no se especifica una licencia de software explícita en el repositorio. El coste principal proviene del hardware de computación GPU necesario para ejecutar la inferencia de forma local o en servidores en la nube.
877 puestos remotos abiertos de entrenamiento de IA, actualizados el 16 de noviembre de 2026; la mayoría paga $20–$175 por hora. 22 de ellos piden hispanohablantes. Zekai los lista gratis; la solicitud va a la plataforma del empleador.
Estas herramientas de IA evaluadas hacen el mismo trabajo al instante — de nuestro directorio puntuado.
Necesitas una GPU compatible con CUDA con al menos 12 GB VRAM por defecto, o menos de 7 GB VRAM al utilizar las optimizaciones de Token Merging.
Sí, puedes cargar cualquier modelo base de Stable Diffusion o pesos personalizados de DreamBooth convertidos al formato de Diffusers.
Puedes utilizar el método Video Instruct-Pix2Pix proporcionando un archivo de vídeo de entrada junto con instrucciones de texto.
Ve Zekai primero en Google