ИИ-инструменты с оценкой для вашей профессии
Заработок с ИИ
🤝 Вы в библиотеке «Бесплатно и Open Source» — инструменты от сообщества, которыми можно пользоваться бесплатно. Это другой формат, чем наш оценённый каталог ИИ.
Главная › Бесплатно и Open Source › Видео › LatentSync
✦ Бесплатно и open sourceВидео

LatentSync

Модель лип-синка от ByteDance, которая синхронизирует движение губ на реальном видео с новым аудио с помощью латентной диффузии.

Синхронизация движения губ на реальном видео с новым аудио

Латентный диффузионный лип-синк от ByteDance с версиями для 8 GB и 18 GB VRAM.

Бесплатно навсегда · open source · Apache-2.0
✓ Needs IT✓ В браузере✓ Совместная работа в реальном времени
5.5
ZEKAI
Открытый лип-синк для видеоматериалов
Бесплатно и open source · Видео
Простота настройки4
Полезность7
Поддержка3.5
Сообщество7.5
★ 6,276
GITHUB
Jun 2025
ОБНОВЛЕНО
Apache-2.0
ЛИЦЕНЗИЯ
🛠 Не хотите размещать сами? Мы настроим за вас →
⚡ Быстрый ответ

LatentSync — это сквозной метод лип-синка от ByteDance, основанный на аудио-обусловленной латентной диффузии. Он подходит разработчикам, которым требуется дубляж или перевод существующего видеоматериала с точным движением губ.

Работает на
Cross-platform
Хостинг
Self-host
Языки
Python
Лицензия
Apache-2.0

Что это

В README указано, что он моделирует аудиовизуальные связи напрямую со Stable Diffusion без промежуточного представления движения. Поставляется с v1.5 (инференс для 8 GB VRAM) и v1.6 (18 GB), приложением Gradio, инференсом через CLI и конфигурациями для обучения.

Для кого

Подходит разработчикам и командам постпродакшна с NVIDIA GPU, у которых уже есть видеозапись говорящего человека. Модель не создает ведущего по сценарию, а веса распространяются по другой лицензии, отличной от кода.

Ключевые возможности

Латентный диффузионный лип-синк

Сквозной метод без промежуточного представления движения.

Два варианта по VRAM

Для инференса требуется 8 GB для v1.5 или 18 GB для v1.6.

Приложение Gradio

Запуск демо-интерфейса или скрипта командной строки.

Код обучения

Опубликованы конфигурации для обучения этапа 1 и этапа 2.

Временной слой

v1.5 добавляет временной слой для согласованности.

Веса на Hugging Face

Чекпоинты загружаются из репозитория ByteDance на Hugging Face.

Как начать

Готово за 3 шага

1
Запустите source setup_env.sh для создания окружения Python с зависимостями CUDA.
2
Загрузите latentsync_unet.pt и tiny.pt из репозитория ByteDance LatentSync-1.6 на Hugging Face в папку checkpoints.
3
Запустите приложение Gradio или выполните скрипт инференса с видео- и аудиофайлом.
Честно

Наш честный вердикт

Плюсы

  • Код под Apache-2.0 от крупной лаборатории с включенными конфигурациями обучения.
  • Предлагает вариант с 8 GB (v1.5) для видеокарт среднего уровня.
  • Работает с реальным видеоматериалом, благодаря чему сохраняются идентичность и фон.
  • Предусмотрены варианты запуска через Gradio и CLI.

Минусы

  • Требуется NVIDIA GPU и окружение CUDA из setup_env.sh; для v1.6 требуется 18 GB VRAM.
  • Веса модели используют OpenRAIL++ на Hugging Face, что накладывает ограничения на некоторые виды использования; ознакомьтесь с ними перед коммерческой работой.
  • Изменяет только губы в существующем видео; не генерирует говорящего ведущего.
  • Для обучения требуется 20 GB или более VRAM согласно README.
Стоимость

Цены и лицензия

Бесплатно для запуска: код под Apache-2.0 и веса OpenRAIL++. В README не указаны облачные тарифы, поэтому затраты зависят от вашего собственного или арендованного GPU.

Оплачиваемая работа

Вакансии для носителей русского языка

870 открытых удалённых вакансий по обучению ИИ, обновлено 17 ноября 2026 г.; в большинстве оплата $20–$175 в час. Из них 2 — для носителей русского языка. Zekai публикует их бесплатно; отклик уходит на платформу работодателя.

Все открытые вакансии →
Сравнить

Альтернативы

🎁 Бесплатные и open-source альтернативы

Эти проверенные ИИ-инструменты делают то же самое мгновенно — из нашего оценённого каталога.

Больше

Используйте сами или мы всё настроим

📄 Бесплатный PDF: LatentSync для Видео
Простое руководство для первого результата. Придёт на вашу почту.
🔔 64 человек хотят полный видеоурок — добавьте свой голос
🛠 Не хотите настраивать сами?
Мы установим, разместим и настроим LatentSync за вас — и обучим вашу команду.
Доверьте это нам ↗
Вопросы

Вопросы

Сколько VRAM нужно для LatentSync?

В README указано, что для инференса требуется минимум 8 GB для v1.5 и 18 GB для v1.6.

Можно ли использовать LatentSync в коммерческих целях?

Код распространяется под лицензией Apache-2.0, но веса на Hugging Face поставляются под лицензией OpenRAIL++, которая разрешает использование с ограничениями. Сначала ознакомьтесь с этой лицензией.

Генерирует ли он новое видео по фотографии?

Нет. Он пересинхронизирует губы в предоставленном вами видеоматериале.

Радар

Свежие новости ИИ

✉️ Еженедельный бесплатный набор
Лучшие новые бесплатные и open-source инструменты для Видео — короткое письмо раз в неделю, на вашем языке.
Бесплатно · 1 письмо/неделю · отписка в любой момент
Заработок на обучении ИИ →

Zekai первым в Google