Implementação em PyTorch para geração de imagens panorâmicas de 360 graus a partir de texto usando Stable Diffusion.
Destaque da CVPR 2024 implementando PanFusion para criação e avaliação de panoramas imersivos.
PanFusion é um framework baseado em PyTorch que adapta o Stable Diffusion para a geração de imagens panorâmicas em 360 graus a partir de texto. É ideal para pesquisadores e desenvolvedores que trabalham com IA generativa, ambientes 3D e imagens espaciais.
A ferramenta fornece código completo de pré-processamento de dados, treinamento, teste e avaliação para gerar panoramas de 360 graus a partir de prompts de texto. Inclui módulos para unir imagens de skybox do Matterport3D, legendagem com BLIP, renderização de layouts e treinamento de modelos de avaliação como FAED e HorizonNet.
É adequado para pesquisadores de aprendizado de máquina e engenheiros de visão computacional com acesso a hardware com múltiplas GPUs, como NVIDIA A100s. Não é adequado para usuários casuais ou aqueles sem infraestrutura de deep learning e experiência em Python.
Adapta modelos de difusão para gerar imagens panorâmicas equirretangulares de 360 graus.
Ajusta finamente um modelo ControlNet para síntese de panoramas condicionada por layout.
Usa Weights & Biases para registrar, visualizar e identificar problemas de treinamento.
Inclui código de treinamento para modelos de avaliação para medir a qualidade do panorama e do layout.
Gratuito sob sua licença MIT, sem opções de nuvem hospedada mencionadas no README. O único custo é a execução do hardware necessário para o treinamento e a inferência.
879 vagas remotas abertas de treinamento de IA, atualizadas em 15 de novembro de 2026; a maioria paga $20–$175 por hora. 8 delas pedem falantes de português. O Zekai lista de graça; a candidatura vai para a plataforma do empregador.
O treinamento do modelo de geração de texto para imagem requer 4x GPUs NVIDIA A100, enquanto modelos de avaliação como FAED ou HorizonNet podem rodar em uma única NVIDIA A100.
O framework usa principalmente o dataset de skybox Matterport3D e o dataset Matterport3DLayoutAnnotation.
Você pode treinar e usar o modelo FAED incluído ou checkpoints do HorizonNet para avaliar a qualidade da imagem e do layout.
Veja o Zekai primeiro no Google