Модель лип-синка от ByteDance, которая синхронизирует движение губ на реальном видео с новым аудио с помощью латентной диффузии.
Латентный диффузионный лип-синк от ByteDance с версиями для 8 GB и 18 GB VRAM.
LatentSync — это сквозной метод лип-синка от ByteDance, основанный на аудио-обусловленной латентной диффузии. Он подходит разработчикам, которым требуется дубляж или перевод существующего видеоматериала с точным движением губ.
В README указано, что он моделирует аудиовизуальные связи напрямую со Stable Diffusion без промежуточного представления движения. Поставляется с v1.5 (инференс для 8 GB VRAM) и v1.6 (18 GB), приложением Gradio, инференсом через CLI и конфигурациями для обучения.
Подходит разработчикам и командам постпродакшна с NVIDIA GPU, у которых уже есть видеозапись говорящего человека. Модель не создает ведущего по сценарию, а веса распространяются по другой лицензии, отличной от кода.
Сквозной метод без промежуточного представления движения.
Для инференса требуется 8 GB для v1.5 или 18 GB для v1.6.
Запуск демо-интерфейса или скрипта командной строки.
Опубликованы конфигурации для обучения этапа 1 и этапа 2.
v1.5 добавляет временной слой для согласованности.
Чекпоинты загружаются из репозитория ByteDance на Hugging Face.
Бесплатно для запуска: код под Apache-2.0 и веса OpenRAIL++. В README не указаны облачные тарифы, поэтому затраты зависят от вашего собственного или арендованного GPU.
870 открытых удалённых вакансий по обучению ИИ, обновлено 17 ноября 2026 г.; в большинстве оплата $20–$175 в час. Из них 2 — для носителей русского языка. Zekai публикует их бесплатно; отклик уходит на платформу работодателя.
Эти проверенные ИИ-инструменты делают то же самое мгновенно — из нашего оценённого каталога.
В README указано, что для инференса требуется минимум 8 GB для v1.5 и 18 GB для v1.6.
Код распространяется под лицензией Apache-2.0, но веса на Hugging Face поставляются под лицензией OpenRAIL++, которая разрешает использование с ограничениями. Сначала ознакомьтесь с этой лицензией.
Нет. Он пересинхронизирует губы в предоставленном вами видеоматериале.
Zekai первым в Google