Implémentation PyTorch pour la génération d'images panoramiques à 360 degrés à partir de texte en utilisant Stable Diffusion.
Point fort de CVPR 2024 implémentant PanFusion pour la création et l'évaluation de panoramas immersifs.
PanFusion est un framework basé sur PyTorch qui adapte Stable Diffusion pour la génération d'images panoramiques à 360 degrés à partir de texte. Il convient aux chercheurs et développeurs travaillant sur l'IA générative, les environnements 3D et l'imagerie spatiale.
L'outil fournit un code complet de prétraitement des données, d'entraînement, de test et d'évaluation pour générer des panoramas à 360 degrés à partir de descriptions textuelles. Il comprend des modules pour assembler des images skybox Matterport3D, générer des légendes avec BLIP, rendre des dispositions et entraîner des modèles d'évaluation comme FAED et HorizonNet.
Il s'adresse aux chercheurs en apprentissage automatique et aux ingénieurs en vision par ordinateur ayant accès à du matériel multi-GPU comme des NVIDIA A100. Il ne convient pas aux utilisateurs occasionnels ou à ceux qui ne disposent pas d'une infrastructure de deep learning et d'une expérience en Python.
Adapte les modèles de diffusion pour générer des images panoramiques équirectangulaires à 360 degrés.
Affine un modèle ControlNet pour la synthèse de panoramas conditionnée par la disposition.
Utilise Weights & Biases pour l'enregistrement, la visualisation et l'identification des problèmes d'entraînement.
Comprend le code d'entraînement pour les modèles d'évaluation afin de mesurer la qualité des panoramas et des dispositions.
Gratuit sous licence MIT, sans option de cloud hébergé mentionnée dans le README. Le seul coût est l'exécution du matériel requis pour l'entraînement et l'inférence.
877 missions ouvertes à distance en entraînement d’IA, mises à jour le 16 novembre 2026 ; la plupart paient $20–$175 de l’heure. 8 d’entre elles demandent des francophones. Zekai les liste gratuitement ; la candidature se fait sur la plateforme de l’employeur.
L'entraînement du modèle de génération texte-image nécessite 4x GPU NVIDIA A100, tandis que les modèles d'évaluation comme FAED ou HorizonNet peuvent s'exécuter sur un seul NVIDIA A100.
Le framework utilise principalement le jeu de données skybox Matterport3D et le jeu de données Matterport3DLayoutAnnotation.
Vous pouvez entraîner et utiliser le modèle FAED inclus ou les points de contrôle d'HorizonNet pour évaluer la qualité de l'image et de la disposition.
Voir Zekai en premier dans Google