Modèle de synchronisation labiale de ByteDance qui resynchronise les bouches dans une vraie vidéo sur un nouvel audio grâce à la diffusion latente.
Synchronisation labiale par diffusion latente de ByteDance, avec des versions nécessitant 8 GB et 18 GB de VRAM.
LatentSync est une méthode de synchronisation labiale de bout en bout de ByteDance basée sur la diffusion latente conditionnée par l'audio. Elle convient aux développeurs qui ont besoin du doublage ou de la traduction de séquences existantes avec un mouvement de bouche précis.
Le README indique qu'il modélise les corrélations audiovisuelles directement avec Stable Diffusion, sans représentation de mouvement intermédiaire. Il propose la v1.5 (inférence à 8 GB de VRAM) et la v1.6 (18 GB), une application Gradio, une inférence en ligne de commande et des configurations d'entraînement.
Convient aux développeurs et aux équipes de post-production disposant d'un GPU NVIDIA et qui possèdent déjà des images d'un locuteur. Il ne crée pas de présentateur à partir d'un script, et les poids sont sous une licence différente de celle du code.
Méthode de bout en bout sans représentation de mouvement intermédiaire.
L'inférence nécessite 8 GB pour la v1.5 ou 18 GB pour la v1.6.
Exécutez l'interface de démonstration ou le script en ligne de commande.
Les configurations d'entraînement de l'étape 1 et de l'étape 2 sont publiées.
La v1.5 ajoute une couche temporelle pour la cohérence.
Téléchargement des points de contrôle depuis le dépôt Hugging Face de ByteDance.
Gratuit à exécuter : code sous licence Apache-2.0 et poids sous OpenRAIL++. Le README ne liste aucun plan hébergé, le coût correspond donc à votre propre GPU ou à du temps GPU loué.
885 missions ouvertes à distance en entraînement d’IA, mises à jour le 17 novembre 2026 ; la plupart paient $20–$175 de l’heure. 10 d’entre elles demandent des francophones. Zekai les liste gratuitement ; la candidature se fait sur la plateforme de l’employeur.
Ces outils IA évalués font le même travail instantanément — depuis notre annuaire noté.
Le README indique que l'inférence nécessite un minimum de 8 GB avec la v1.5 et de 18 GB avec la v1.6.
Le code est sous licence Apache-2.0, mais les poids Hugging Face sont listés sous OpenRAIL++, ce qui autorise l'utilisation avec des restrictions. Lisez d'abord cette licence.
Non. Il resynchronise la bouche dans les images que vous fournissez.
Voir Zekai en premier dans Google