ByteDance Lip-Sync-Modell, das Münder in echten Videos mithilfe latenter Diffusion an neues Audio anpasst.
Latent-Diffusion-Lip-Sync von ByteDance, mit einer 8 GB und einer 18 GB VRAM Version.
LatentSync ist eine End-to-End Lip-Sync-Methode von ByteDance, basierend auf audiokonditionierter latenter Diffusion. Sie eignet sich für Entwickler, die Dubbing oder Übersetzung von vorhandenem Filmmaterial mit präzisen Mundbewegungen benötigen.
Laut README werden audio-visuelle Korrelationen direkt mit Stable Diffusion modelliert, ohne intermediäre Bewegungswiedergabe. Es enthält v1.5 (8 GB VRAM Inferenz) und v1.6 (18 GB), eine Gradio App, Command-Line Inferenz und Trainingskonfigurationen.
Passt für Entwickler und Postproduktions-Teams mit einer NVIDIA GPU, die bereits Filmmaterial eines Sprechers haben. Es erstellt keinen Präsentator aus einem Skript, und die Gewichte unterliegen einer anderen Lizenz als der Code.
End-to-End-Methode ohne intermediäre Bewegungswiedergabe.
Inferenz benötigt 8 GB für v1.5 oder 18 GB für v1.6.
Führen Sie die Demo-UI oder das Befehlszeilenskript aus.
Stufe 1 und Stufe 2 Trainingskonfigurationen sind veröffentlicht.
v1.5 fügt eine temporale Ebene für Konsistenz hinzu.
Checkpoints werden aus dem ByteDance Hugging Face Repo heruntergeladen.
Kostenlos auszuführen: Apache-2.0 Code und OpenRAIL++ Gewichte. Das README listet keinen gehosteten Tarif auf, daher sind die Kosten Ihre eigene oder gemietete GPU-Zeit.
885 offene Remote-Stellen im KI-Training, aktualisiert am 17. November 2026; die meisten zahlen $20–$175 pro Stunde. 12 davon suchen Deutschsprachige. Zekai listet sie kostenlos; die Bewerbung läuft über die Plattform des Arbeitgebers.
Diese bewerteten KI-Tools erledigen die Aufgabe sofort — aus unserem bewerteten Verzeichnis.
Das README besagt, dass die Inferenz mindestens 8 GB mit v1.5 und 18 GB mit v1.6 benötigt.
Der Code ist Apache-2.0, aber die Hugging Face Gewichte sind unter OpenRAIL++ gelistet, was die Nutzung mit Einschränkungen erlaubt. Lesen Sie zuerst diese Lizenz.
Nein. Es synchronisiert den Mund in bereitgestelltem Filmmaterial neu.
Zekai zuerst in Google sehen