Stable Diffusion का उपयोग करके टेक्स्ट-से-360-डिग्री पैनोरमा इमेज जनरेशन के लिए PyTorch कार्यान्वयन।
इमर्सिव पैनोरमा निर्माण और मूल्यांकन के लिए PanFusion को लागू करने वाला CVPR 2024 हाइलाइट।
PanFusion एक PyTorch-आधारित फ्रेमवर्क है जो टेक्स्ट-से-360-डिग्री पैनोरमा इमेज जनरेशन के लिए Stable Diffusion को नियंत्रित करता है। यह जेनरेटिव AI, 3D वातावरण और स्थानिक इमेजिंग पर काम करने वाले शोधकर्ताओं और डेवलपर्स के लिए उपयुक्त है।
यह टूल टेक्स्ट प्रॉम्प्ट्स से 360-डिग्री पैनोरमा जनरेट करने के लिए संपूर्ण डेटा प्रीप्रोसेसिंग, ट्रेनिंग, टेस्टिंग और मूल्यांकन कोड प्रदान करता है। इसमें Matterport3D स्काईबॉक्स इमेज को जोड़ने, BLIP के साथ कैप्शन जोड़ने, लेआउट रेंडर करने और FAED तथा HorizonNet जैसे ट्रेनिंग मूल्यांकन मॉडल शामिल हैं।
यह मशीन लर्निंग शोधकर्ताओं और कंप्यूटर विजन इंजीनियरों के लिए उपयुक्त है जिनके पास NVIDIA A100s जैसे मल्टी-GPU हार्डवेयर तक पहुंच है। यह आम उपयोगकर्ताओं या डीप लर्निंग बुनियादी ढांचा और Python अनुभव के बिना के लोगों के लिए उपयुक्त नहीं है।
360-डिग्री इक्विरेक्टेंगुलर पैनोरमा इमेज जनरेट करने के लिए डिफ्यूजन मॉडल को नियंत्रित करता है।
लेआउट-कंडीशंड पैनोरमा सिंथेसिस के लिए एक ControlNet मॉडल को फाइनट्यून करता है।
ट्रेनिंग समस्याओं को लॉग इन करने, विज़ुअलाइज़ करने और पहचानने के लिए Weights & Biases का उपयोग करता है।
पैनोरमा और लेआउट गुणवत्ता को मापने के लिए मूल्यांकन मॉडल के लिए ट्रेनिंग कोड शामिल है।
इसके MIT लाइसेंस के तहत मुफ़्त, README में किसी भी होस्टेड क्लाउड विकल्प का उल्लेख नहीं है। एकमात्र लागत ट्रेनिंग और इन्फेडरेंस के लिए आवश्यक हार्डवेयर चलाना है।
880 खुले रिमोट AI-ट्रेनिंग रोल, 15 नवंबर 2026 को अपडेट; ज़्यादातर में $20–$175 प्रति घंटा। इनमें से 5 हिंदी बोलने वालों के लिए हैं। Zekai इन्हें मुफ़्त में लिस्ट करता है; आवेदन एम्प्लॉयर के प्लेटफ़ॉर्म पर जाता है।
टेक्स्ट-टू-इमेज जनरेशन मॉडल को ट्रेन करने के लिए 4x NVIDIA A100 GPU की आवश्यकता होती है, जबकि FAED या HorizonNet जैसे मूल्यांकन मॉडल सिंगल NVIDIA A100 पर चल सकते हैं।
फ्रेमवर्क मुख्य रूप से Matterport3D स्काईबॉक्स डेटासेट और Matterport3DLayoutAnnotation डेटासेट का उपयोग करता है।
छवि और लेआउट गुणवत्ता का मूल्यांकन करने के लिए आप शामिल FAED मॉडल या HorizonNet चेकपॉइंट्स को ट्रेन और उपयोग कर सकते हैं।
Google में Zekai को सबसे पहले देखें