Генерирует и редактирует видео с временной согласованностью с помощью моделей диффузии «текст-изображение» без дополнительного обучения.
Превращайте существующие конвейеры диффузии «текст-изображение» в условные генераторы видео и редакторы на основе инструкций.
Text2Video-Zero — это фреймворк для генерации видео без предварительного обучения (zero-shot), который адаптирует модели Stable Diffusion для создания видео. Он позволяет создателям видео и разработчикам ИИ генерировать видео на основе текста, поз, границ и карт глубины без обучения специализированных видеомоделей. Его стоит использовать, если вы хотите поэкспериментировать с генерацией видео с открытым исходным кодом и редактированием видео на основе инструкций.
Инструмент генерирует видеоклипы с временной согласованностью напрямую из текстовых запросов или структурированных направляющих, таких как скелеты поз и границы по методу Кэнни. Он поддерживает редактирование видео на основе инструкций с помощью Video Instruct-Pix2Pix и интегрируется с пользовательскими моделями DreamBooth. Интеграция с Hugging Face Diffusers и Token Merging позволяет запускать инструмент на потребительских GPU всего с 7 GB VRAM.
Этот инструмент подойдет исследователям ИИ, разработчикам и техническим видеомонтажерам, стремящимся адаптировать конвейеры Stable Diffusion для создания видео. Он идеально подходит для команд, которые уверенно работают со средами Python и PyTorch на выделенном GPU-оборудовании. Он не подходит для нетехнических редакторов, которым нужен готовый к работе графический интерфейс «из коробки».
Генерирует временной-согласованные видеопоследовательности из текстовых запросов с использованием предварительно обученных моделей Stable Diffusion.
Направляет генерацию видео с помощью скелетов движения, обнаружения границ Кэнни или карт глубины MiDaS.
Редактирует существующие видеоклипы с помощью текстовых команд через Video Instruct-Pix2Pix.
Загружает произвольные базовые модели Stable Diffusion и пользовательские веса DreamBooth из Hugging Face или Civitai.
Код находится в свободном доступе на GitHub, но в репозитории не указана конкретная лицензия на ПО. Основные затраты приходятся на GPU-оборудование, необходимое для выполнения инференса локально или на облачных серверах.
873 открытых удалённых вакансий по обучению ИИ, обновлено 15 ноября 2026 г.; в большинстве оплата $20–$170 в час. Из них 2 — для носителей русского языка. Zekai публикует их бесплатно; отклик уходит на платформу работодателя.
Эти проверенные ИИ-инструменты делают то же самое мгновенно — из нашего оценённого каталога.
Вам понадобится GPU с поддержкой CUDA и не менее 12 GB VRAM по умолчанию или менее 7 GB VRAM при использовании оптимизации Token Merging.
Да, вы можете загрузить любую базовую модель Stable Diffusion или пользовательские веса DreamBooth, конвертированные в формат Diffusers.
Вы можете использовать метод Video Instruct-Pix2Pix, предоставив файл входного видео вместе с текстовыми инструкциями.
Zekai первым в Google