KI-Tools, bewertet für deinen Beruf
Bezahlte KI-Jobs
🤝 Du bist in der Frei-&-Open-Source-Bibliothek — von der Community entwickelte Tools, die du kostenlos nutzen kannst. Ein anderes Konzept als unser bewertetes KI-Verzeichnis.
Start › Frei & Open Source › Video › LatentSync
✦ Frei & Open SourceVideo

LatentSync

ByteDance Lip-Sync-Modell, das Münder in echten Videos mithilfe latenter Diffusion an neues Audio anpasst.

Lip-Sync für echte Videos mit neuem Audio

Latent-Diffusion-Lip-Sync von ByteDance, mit einer 8 GB und einer 18 GB VRAM Version.

Für immer kostenlos · Open Source · Apache-2.0
✓ Needs IT✓ Im Browser✓ Echtzeit-Zusammenarbeit
5.5
ZEKAI
Offenes Lip-Sync für Filmmaterial
Frei & Open Source · Video
Einfache Einrichtung4
Nützlichkeit7
Wartung3.5
Community7.5
★ 6,276
GITHUB
Jun 2025
AKTUALISIERT
Apache-2.0
LIZENZ
🛠 Keine Lust auf Self-Hosting? Wir richten es ein →
⚡ Schnelle Antwort

LatentSync ist eine End-to-End Lip-Sync-Methode von ByteDance, basierend auf audiokonditionierter latenter Diffusion. Sie eignet sich für Entwickler, die Dubbing oder Übersetzung von vorhandenem Filmmaterial mit präzisen Mundbewegungen benötigen.

Läuft auf
Cross-platform
Hosting
Self-host
Sprachen
Python
Lizenz
Apache-2.0

Was es ist

Laut README werden audio-visuelle Korrelationen direkt mit Stable Diffusion modelliert, ohne intermediäre Bewegungswiedergabe. Es enthält v1.5 (8 GB VRAM Inferenz) und v1.6 (18 GB), eine Gradio App, Command-Line Inferenz und Trainingskonfigurationen.

Für wen

Passt für Entwickler und Postproduktions-Teams mit einer NVIDIA GPU, die bereits Filmmaterial eines Sprechers haben. Es erstellt keinen Präsentator aus einem Skript, und die Gewichte unterliegen einer anderen Lizenz als der Code.

Wichtige Funktionen

Latent-Diffusion-Lip-Sync

End-to-End-Methode ohne intermediäre Bewegungswiedergabe.

Zwei VRAM-Stufen

Inferenz benötigt 8 GB für v1.5 oder 18 GB für v1.6.

Gradio App

Führen Sie die Demo-UI oder das Befehlszeilenskript aus.

Trainingscode

Stufe 1 und Stufe 2 Trainingskonfigurationen sind veröffentlicht.

Temporale Ebene

v1.5 fügt eine temporale Ebene für Konsistenz hinzu.

Hugging Face Gewichte

Checkpoints werden aus dem ByteDance Hugging Face Repo heruntergeladen.

Erste Schritte

Startklar in 3 Schritten

1
Führen Sie source setup_env.sh aus, um die Python-Umgebung mit CUDA-Abhängigkeiten zu erstellen.
2
Laden Sie latentsync_unet.pt und tiny.pt aus dem ByteDance LatentSync-1.6 Hugging Face Repo in den checkpoints Ordner herunter.
3
Starten Sie die Gradio App oder führen Sie das Inferenzskript mit einer Video- und einer Audiodatei aus.
Klartext

Unser ehrliches Fazit

Stärken

  • Apache-2.0 Code von einem großen Labor mit enthaltenen Trainingskonfigurationen.
  • Bietet eine 8 GB Option (v1.5) für GPUs der Mittelklasse.
  • Funktioniert mit echtem Filmmaterial, sodass Identität und Hintergrund erhalten bleiben.
  • Gradio und CLI Inferenzwege werden beide bereitgestellt.

Schwächen

  • Benötigt eine NVIDIA GPU und eine CUDA Umgebung von setup_env.sh; v1.6 erfordert 18 GB VRAM.
  • Die Modellgewichte verwenden OpenRAIL++ auf Hugging Face, was einige Verwendungen einschränkt; lesen Sie dies vor kommerzieller Arbeit.
  • Es ändert nur Münder in bestehenden Videos; es generiert keinen sprechenden Präsentator.
  • Das Training benötigt laut README 20 GB oder mehr VRAM.
Kosten

Preise & Lizenz

Kostenlos auszuführen: Apache-2.0 Code und OpenRAIL++ Gewichte. Das README listet keinen gehosteten Tarif auf, daher sind die Kosten Ihre eigene oder gemietete GPU-Zeit.

Bezahlte Arbeit

Stellen für Deutschsprachige

885 offene Remote-Stellen im KI-Training, aktualisiert am 17. November 2026; die meisten zahlen $20–$175 pro Stunde. 12 davon suchen Deutschsprachige. Zekai listet sie kostenlos; die Bewerbung läuft über die Plattform des Arbeitgebers.

Alle offenen Stellen ansehen →
Vergleich

Alternativen

🎁 Freie & Open-Source-Alternativen

Diese bewerteten KI-Tools erledigen die Aufgabe sofort — aus unserem bewerteten Verzeichnis.

Mehr

Nutze es, oder lass es uns einrichten

📄 Kostenloses PDF: LatentSync für Video
Ein verständlicher Leitfaden für dein erstes Ergebnis. Direkt in dein Postfach.
🔔 64 Personen wünschen sich ein komplettes Video-Tutorial — stimme ab
🛠 Keine Lust auf eigene Einrichtung?
Wir installieren, hosten & konfigurieren LatentSync für dich — und schulen dein Team.
Erledigen lassen ↗
Fragen

FAQ

Wie viel VRAM benötigt LatentSync?

Das README besagt, dass die Inferenz mindestens 8 GB mit v1.5 und 18 GB mit v1.6 benötigt.

Kann ich LatentSync kommerziell nutzen?

Der Code ist Apache-2.0, aber die Hugging Face Gewichte sind unter OpenRAIL++ gelistet, was die Nutzung mit Einschränkungen erlaubt. Lesen Sie zuerst diese Lizenz.

Generiert es ein neues Video aus einem Foto?

Nein. Es synchronisiert den Mund in bereitgestelltem Filmmaterial neu.

Radar

Neueste KI-News

✉️ Das wöchentliche kostenlose Toolkit
Die besten neuen freien & Open-Source-Tools für Video — eine kurze E-Mail pro Woche, in deiner Sprache.
Kostenlos · 1 E-Mail/Woche · jederzeit abbestellbar
Mit KI-Training Geld verdienen →

Zekai zuerst in Google sehen