Génère et édite des vidéos cohérentes temporellement à l'aide de modèles de diffusion texte-image sans entraînement supplémentaire.
Transformez les pipelines de diffusion texte-image existants en générateurs de vidéos conditionnels et en éditeurs d'instructions.
Text2Video-Zero est un framework de génération de vidéos zero-shot qui adapte les modèles Stable Diffusion pour la production vidéo. Il permet aux créateurs de vidéos et aux développeurs d'IA de générer des vidéos à partir de texte, de poses, de contours et de profondeurs sans entraîner de modèles vidéo spécialisés. Vous devez l'utiliser si vous souhaitez expérimenter la génération de vidéos open source et l'édition vidéo basée sur des instructions.
L'outil génère des clips vidéo temporellement cohérents directement à partir de prompts textuels ou de guidages structurés tels que des squelettes de pose et des contours Canny. Il permet l'édition vidéo guidée par instruction via Video Instruct-Pix2Pix et s'intègre aux modèles DreamBooth personnalisés. Les intégrations avec Hugging Face Diffusers et Token Merging permettent l'exécution sur des GPU grand public avec seulement 7 GB VRAM.
Cet outil s'adresse aux chercheurs en IA, aux développeurs et aux monteurs vidéo techniques cherchant à adapter les pipelines Stable Diffusion pour la création vidéo. Il est idéal pour les équipes à l'aise avec l'exécution d'environnements Python et PyTorch sur du matériel GPU dédié. Il ne convient pas aux monteurs non techniques qui ont besoin d'une interface graphique prête à l'emploi.
Génère des séquences vidéo temporellement cohérentes à partir de prompts textuels en utilisant des modèles Stable Diffusion pré-entraînés.
Guide la génération de vidéos à l'aide de squelettes de mouvement, de la détection de contours Canny ou de cartes de profondeur MiDaS.
Édite des clips vidéo existants à l'aide de commandes textuelles via Video Instruct-Pix2Pix.
Charge des modèles de base Stable Diffusion arbitraires et des poids DreamBooth personnalisés depuis Hugging Face ou Civitai.
Le code est librement accessible sur GitHub, mais aucune licence logicielle explicite n'est spécifiée dans le dépôt. Le coût principal provient du matériel de calcul GPU requis pour exécuter l'inférence localement ou sur des serveurs cloud.
877 missions ouvertes à distance en entraînement d’IA, mises à jour le 16 novembre 2026 ; la plupart paient $20–$175 de l’heure. 8 d’entre elles demandent des francophones. Zekai les liste gratuitement ; la candidature se fait sur la plateforme de l’employeur.
Ces outils IA évalués font le même travail instantanément — depuis notre annuaire noté.
Vous avez besoin d'un GPU compatible CUDA avec au moins 12 GB VRAM par défaut, ou moins de 7 GB VRAM lors de l'utilisation des optimisations Token Merging.
Oui, vous pouvez charger n'importe quel modèle de base Stable Diffusion ou des poids DreamBooth personnalisés convertis au format Diffusers.
Vous pouvez utiliser la méthode Video Instruct-Pix2Pix en fournissant un fichier vidéo d'entrée ainsi que des instructions textuelles.
Voir Zekai en premier dans Google