PyTorch-Implementierung zur Generierung von 360-Grad-Panoramabildern aus Text mit Stable Diffusion.
CVPR 2024 Highlight zur Implementierung von PanFusion für immersive Panoramaberstellung und -bewertung.
PanFusion ist ein PyTorch-basiertes Framework, das Stable Diffusion für die Generierung von 360-Grad-Panoramabildern aus Text bändigt. Es eignet sich für Forscher und Entwickler, die an generativer KI, 3D-Umgebungen und räumlicher Bildgebung arbeiten.
Das Tool bietet vollständigen Code für Datenvorverarbeitung, Training, Tests und Evaluierung zur Generierung von 360-Grad-Panoramas aus Texteingaben. Es enthält Module zum Zusammenfügen von Matterport3D-Skybox-Bildern, zur Beschriftung mit BLIP, zum Rendern von Layouts und zum Trainieren von Evaluierungsmodellen wie FAED und HorizonNet.
Es richtet sich an Forscher im Bereich des maschinellen Lernens und Computer-Vision-Ingenieure mit Zugriff auf Multi-GPU-Hardware wie NVIDIA A100. Es ist nicht geeignet für Gelegenheitsnutzer oder Personen ohne Deep-Learning-Infrastruktur und Python-Erfahrung.
Bändigt Diffusionsmodelle zur Generierung von 360-Grad-Äquidistanten Panoramabildern.
Finetunet ein ControlNet-Modell für die layout-konditionierte Panoramasynthese.
Verwendet Weights & Biases zum Protokollieren, Visualisieren und Identifizieren von Trainingsproblemen.
Enthält Trainingscode für Evaluierungsmodelle zur Messung der Panorama- und Layout-Qualität.
Kostenlos unter seiner MIT-Lizenz, ohne in der README erwähnte gehostete Cloud-Optionen. Die einzigen Kosten sind der Betrieb der für Training und Inferenz erforderlichen Hardware.
880 offene Remote-Stellen im KI-Training, aktualisiert am 15. November 2026; die meisten zahlen $20–$175 pro Stunde. 12 davon suchen Deutschsprachige. Zekai listet sie kostenlos; die Bewerbung läuft über die Plattform des Arbeitgebers.
Das Training des Text-zu-Bild-Generierungsmodells erfordert 4x NVIDIA A100 GPUs, während Evaluierungsmodelle wie FAED oder HorizonNet auf einer einzelnen NVIDIA A100 laufen können.
Das Framework verwendet primär den Matterport3D-Skybox-Datensatz und den Matterport3DLayoutAnnotation-Datensatz.
Sie können das enthaltene FAED-Modell oder HorizonNet-Checkpoints trainieren und verwenden, um die Bild- und Layout-Qualität zu bewerten.
Zekai zuerst in Google sehen