ИИ-инструменты с оценкой для вашей профессии
Заработок с ИИ
🤝 Вы в библиотеке «Бесплатно и Open Source» — инструменты от сообщества, которыми можно пользоваться бесплатно. Это другой формат, чем наш оценённый каталог ИИ.
Главная › Бесплатно и Open Source › Видео › Text2Video-Zero
✦ Бесплатно и open sourceВидео

Text2Video-Zero

Генерирует и редактирует видео с временной согласованностью с помощью моделей диффузии «текст-изображение» без дополнительного обучения.

Генерация и редактирование видео по текстовому описанию без предварительного обучения (Zero-shot)

Превращайте существующие конвейеры диффузии «текст-изображение» в условные генераторы видео и редакторы на основе инструкций.

Бесплатно навсегда · source-available · Licence not stated in the repository
✓ Needs IT✓ В браузере✓ Совместная работа в реальном времени
5.4
ZEKAI
Инструмент для генерации видео без предварительного обучения (Zero-shot)
Бесплатно и open source · Видео
Простота настройки4
Полезность8
Поддержка2
Сообщество7.5
★ 4,243
GITHUB
May 2023
ОБНОВЛЕНО
Licence not stated in the repository
ЛИЦЕНЗИЯ
🛠 Не хотите размещать сами? Мы настроим за вас →
⚡ Быстрый ответ

Text2Video-Zero — это фреймворк для генерации видео без предварительного обучения (zero-shot), который адаптирует модели Stable Diffusion для создания видео. Он позволяет создателям видео и разработчикам ИИ генерировать видео на основе текста, поз, границ и карт глубины без обучения специализированных видеомоделей. Его стоит использовать, если вы хотите поэкспериментировать с генерацией видео с открытым исходным кодом и редактированием видео на основе инструкций.

Работает на
Cross-platform
Хостинг
Облако или свой хостинг
Языки
Python
Лицензия
Licence not stated in the repository

Что это

Инструмент генерирует видеоклипы с временной согласованностью напрямую из текстовых запросов или структурированных направляющих, таких как скелеты поз и границы по методу Кэнни. Он поддерживает редактирование видео на основе инструкций с помощью Video Instruct-Pix2Pix и интегрируется с пользовательскими моделями DreamBooth. Интеграция с Hugging Face Diffusers и Token Merging позволяет запускать инструмент на потребительских GPU всего с 7 GB VRAM.

Для кого

Этот инструмент подойдет исследователям ИИ, разработчикам и техническим видеомонтажерам, стремящимся адаптировать конвейеры Stable Diffusion для создания видео. Он идеально подходит для команд, которые уверенно работают со средами Python и PyTorch на выделенном GPU-оборудовании. Он не подходит для нетехнических редакторов, которым нужен готовый к работе графический интерфейс «из коробки».

Ключевые возможности

Генерация видео по тексту без обучения (Zero-Shot)

Генерирует временной-согласованные видеопоследовательности из текстовых запросов с использованием предварительно обученных моделей Stable Diffusion.

Управление позами и границами

Направляет генерацию видео с помощью скелетов движения, обнаружения границ Кэнни или карт глубины MiDaS.

Редактирование видео на основе инструкций

Редактирует существующие видеоклипы с помощью текстовых команд через Video Instruct-Pix2Pix.

Поддержка пользовательских моделей

Загружает произвольные базовые модели Stable Diffusion и пользовательские веса DreamBooth из Hugging Face или Civitai.

Как начать

Готово за 3 шага

1
Клонируйте репозиторий и установите требования в среде Python 3.9 с поддержкой CUDA 11.6.
2
Создайте экземпляр класса Model в PyTorch, используя точность float16 для выполнения на GPU.
3
Запустите функции инференса, такие как process_text2video или process_pix2pix, с вашими целевыми запросами и путями к видео.
Честно

Наш честный вердикт

Плюсы

  • Не требует обучения на видеодатасетах для генерации согласованных клипов.
  • Поддерживает множество режимов управления, включая позы, границы, глубину и кастомизацию DreamBooth.
  • Интегрирован в Hugging Face Diffusers для упрощенного доступа к конвейеру.
  • Оптимизации, такие как Token Merging, позволяют выполнять запуск на GPU с объемом VRAM менее 7 GB.

Минусы

  • Требует локального оборудования CUDA или платных облачных GPU-инстансов для выполнения инференса.
  • В метаданных репозитория отсутствует явное заявление об открытой лицензии.
  • Видео по умолчанию представляют собой короткие последовательности кадров, требующие тонкой настройки шагов гиперпараметров.
  • Требует технического знакомства с Python, виртуальными окружениями и конфигурациями PyTorch.
Стоимость

Цены и лицензия

Код находится в свободном доступе на GitHub, но в репозитории не указана конкретная лицензия на ПО. Основные затраты приходятся на GPU-оборудование, необходимое для выполнения инференса локально или на облачных серверах.

Оплачиваемая работа

Вакансии для носителей русского языка

873 открытых удалённых вакансий по обучению ИИ, обновлено 15 ноября 2026 г.; в большинстве оплата $20–$170 в час. Из них 2 — для носителей русского языка. Zekai публикует их бесплатно; отклик уходит на платформу работодателя.

Все открытые вакансии →
Сравнить

Альтернативы

🎁 Бесплатные и open-source альтернативы

Эти проверенные ИИ-инструменты делают то же самое мгновенно — из нашего оценённого каталога.

Больше

Используйте сами или мы всё настроим

📄 Бесплатный PDF: Text2Video-Zero для Видео
Простое руководство для первого результата. Придёт на вашу почту.
🔔 64 человек хотят полный видеоурок — добавьте свой голос
🛠 Не хотите настраивать сами?
Мы установим, разместим и настроим Text2Video-Zero за вас — и обучим вашу команду.
Доверьте это нам ↗
Вопросы

Вопросы

Какое оборудование требуется для локального запуска Text2Video-Zero?

Вам понадобится GPU с поддержкой CUDA и не менее 12 GB VRAM по умолчанию или менее 7 GB VRAM при использовании оптимизации Token Merging.

Могу ли я использовать пользовательские веса Stable Diffusion или дообученные модели?

Да, вы можете загрузить любую базовую модель Stable Diffusion или пользовательские веса DreamBooth, конвертированные в формат Diffusers.

Как редактировать существующие видеоматериалы с помощью текстовых запросов?

Вы можете использовать метод Video Instruct-Pix2Pix, предоставив файл входного видео вместе с текстовыми инструкциями.

Радар

Свежие новости ИИ

✉️ Еженедельный бесплатный набор
Лучшие новые бесплатные и open-source инструменты для Видео — короткое письмо раз в неделю, на вашем языке.
Бесплатно · 1 письмо/неделю · отписка в любой момент
Заработок на обучении ИИ →

Zekai первым в Google