ИИ-инструменты с оценкой для вашей профессии
Заработок с ИИ
🤝 Вы в библиотеке «Бесплатно и Open Source» — инструменты от сообщества, которыми можно пользоваться бесплатно. Это другой формат, чем наш оценённый каталог ИИ.
Главная › Бесплатно и Open Source › Письмо › PanFusion
✦ Бесплатно и open sourceПисьмо

PanFusion

Реализация на PyTorch для генерации панорамных изображений на 360 градусов по тексту с использованием Stable Diffusion.

Генерация панорам на 360° по тексту с помощью Stable Diffusion

Работа с CVPR 2024, реализующая PanFusion для создания и оценки иммерсивных панорам.

Бесплатно навсегда · open source · MIT
✓ Needs IT✓ В браузере✓ Совместная работа в реальном времени
5.4
ZEKAI
Продвинутый ИИ для панорам на 360°
Бесплатно и open source · Письмо
Простота настройки3
Полезность8
Поддержка5.5
Сообщество5
★ 273
GITHUB
Dec 2025
ОБНОВЛЕНО
MIT
ЛИЦЕНЗИЯ
🛠 Не хотите размещать сами? Мы настроим за вас →
⚡ Быстрый ответ

PanFusion — это фреймворк на базе PyTorch, который адаптирует Stable Diffusion для генерации панорамных изображений на 360 градусов по текстовому описанию. Он подходит исследователям и разработчикам, работающим в сфере генеративного ИИ, 3D-окружения и пространственных изображений.

Работает на
Cross-platform
Хостинг
Self-host
Языки
Python
Лицензия
MIT

Что это

Инструмент предоставляет полный код предобработки данных, обучения, тестирования и оценки для генерации панорам на 360 градусов по текстовым промптам. Он включает модули для сшивания изображений скайбоксов Matterport3D, генерации подписей с помощью BLIP, рендеринга макетов и обучения моделей оценки, таких как FAED и HorizonNet.

Для кого

Он подходит исследователям в области машинного обучения и инженерам по компьютерному зрению, имеющим доступ к оборудованию с несколькими GPU, таким как NVIDIA A100. Он не подходит обычным пользователям или тем, у кого нет инфраструктуры для глубокого обучения и опыта работы с Python.

Ключевые возможности

Панорамы со Stable Diffusion

Адаптирует диффузионные модели для генерации равнопромежуточных панорамных изображений на 360 градусов.

Генерация с условием по макету

Дообучает модель ControlNet для синтеза панорам с условием по макету.

Интеграция логирования Wandb

Использует Weights & Biases для логирования, визуализации и выявления проблем при обучении.

FAED и HorizonNet

Включает код обучения для моделей оценки качества панорам и макетов.

Как начать

Готово за 3 шага

1
Клонируйте репозиторий и создайте окружение с помощью команды conda env create -f environment.yaml
2
Скачайте предобученные чекпоинты и поместите их в указанные папки logs или weights
3
Запустите скрипты предсказания, используя main.py с соответствующими аргументами данных и модели
Честно

Наш честный вердикт

Плюсы

  • Полный пайплайн, охватывающий предобработку, обучение, тестирование и оценку
  • Поддерживает как генерацию текста в изображение, так и создание панорам с условием по макету
  • Предоставляет предобученные чекпоинты для быстрого тестирования и инференса
  • Включает скрипты для сшивания изображений скайбоксов Matterport3D и генерации подписей

Минусы

  • Требует высокопроизводительного оборудования, в частности нескольких GPU NVIDIA A100 для обучения
  • Сложная установка, включающая Anaconda, кастомные датасеты и внешние инструменты предобработки на Matlab
  • Сильная зависимость от загрузки внешних датасетов, таких как Matterport3D и специфических tar-архивов
Стоимость

Цены и лицензия

Бесплатно по лицензии MIT, в README не упоминаются варианты с размещением в облаке. Единственные затраты — это запуск оборудования, необходимого для обучения и инференса.

Оплачиваемая работа

Вакансии для носителей русского языка

880 открытых удалённых вакансий по обучению ИИ, обновлено 15 ноября 2026 г.; в большинстве оплата $20–$175 в час. Из них 2 — для носителей русского языка. Zekai публикует их бесплатно; отклик уходит на платформу работодателя.

Все открытые вакансии →
Сравнить

Альтернативы

🎁 Бесплатные и open-source альтернативы
Больше

Используйте сами или мы всё настроим

📄 Бесплатный PDF: PanFusion для Письмо
Простое руководство для первого результата. Придёт на вашу почту.
🔔 64 человек хотят полный видеоурок — добавьте свой голос
🛠 Не хотите настраивать сами?
Мы установим, разместим и настроим PanFusion за вас — и обучим вашу команду.
Доверьте это нам ↗
Вопросы

Вопросы

Какое оборудование требуется для обучения PanFusion?

Для обучения модели генерации текста в изображение требуется 4 GPU NVIDIA A100, в то время как модели оценки, такие как FAED или HorizonNet, могут работать на одной NVIDIA A100.

Какие датасеты поддерживаются для обучения?

Фреймворк в основном использует датасет скайбоксов Matterport3D и датасет Matterport3DLayoutAnnotation.

Как оценивать сгенерированные панорамы?

Вы можете обучить и использовать входящую в комплект модель FAED или чекпоинты HorizonNet для оценки качества изображений и макетов.

Радар

Свежие новости ИИ

✉️ Еженедельный бесплатный набор
Лучшие новые бесплатные и open-source инструменты для Письмо — короткое письмо раз в неделю, на вашем языке.
Бесплатно · 1 письмо/неделю · отписка в любой момент
Заработок на обучении ИИ →

Zekai первым в Google