Реализация на PyTorch для генерации панорамных изображений на 360 градусов по тексту с использованием Stable Diffusion.
Работа с CVPR 2024, реализующая PanFusion для создания и оценки иммерсивных панорам.
PanFusion — это фреймворк на базе PyTorch, который адаптирует Stable Diffusion для генерации панорамных изображений на 360 градусов по текстовому описанию. Он подходит исследователям и разработчикам, работающим в сфере генеративного ИИ, 3D-окружения и пространственных изображений.
Инструмент предоставляет полный код предобработки данных, обучения, тестирования и оценки для генерации панорам на 360 градусов по текстовым промптам. Он включает модули для сшивания изображений скайбоксов Matterport3D, генерации подписей с помощью BLIP, рендеринга макетов и обучения моделей оценки, таких как FAED и HorizonNet.
Он подходит исследователям в области машинного обучения и инженерам по компьютерному зрению, имеющим доступ к оборудованию с несколькими GPU, таким как NVIDIA A100. Он не подходит обычным пользователям или тем, у кого нет инфраструктуры для глубокого обучения и опыта работы с Python.
Адаптирует диффузионные модели для генерации равнопромежуточных панорамных изображений на 360 градусов.
Дообучает модель ControlNet для синтеза панорам с условием по макету.
Использует Weights & Biases для логирования, визуализации и выявления проблем при обучении.
Включает код обучения для моделей оценки качества панорам и макетов.
Бесплатно по лицензии MIT, в README не упоминаются варианты с размещением в облаке. Единственные затраты — это запуск оборудования, необходимого для обучения и инференса.
880 открытых удалённых вакансий по обучению ИИ, обновлено 15 ноября 2026 г.; в большинстве оплата $20–$175 в час. Из них 2 — для носителей русского языка. Zekai публикует их бесплатно; отклик уходит на платформу работодателя.
Для обучения модели генерации текста в изображение требуется 4 GPU NVIDIA A100, в то время как модели оценки, такие как FAED или HorizonNet, могут работать на одной NVIDIA A100.
Фреймворк в основном использует датасет скайбоксов Matterport3D и датасет Matterport3DLayoutAnnotation.
Вы можете обучить и использовать входящую в комплект модель FAED или чекпоинты HorizonNet для оценки качества изображений и макетов.
Zekai первым в Google