تفيذ PyTorch لتوليد صور بانورامية 360 درجة من النص باستخدام Stable Diffusion.
أبرز أعمال CVPR 2024 الذي ينفذ PanFusion لإنشاء وتقييم بانوراما غامرة.
PanFusion هو إطار عمل مبني على PyTorch يطوع Stable Diffusion لتوليد صور بانورامية 360 درجة من النص. وهو مناسب للباحثين والمطورين العاملين في مجال الذكاء الاصطناعي التوليدي، البيئات ثلاثية الأبعاد، والتصوير المكاني.
توفر الأداة كوداً كاملاً لإعداد البيانات، التدريب، الاختبار، والتقييم لتوليد بانوراميات 360 درجة من مطالبات النصوص. تتضمن وحدات لدمج صور Matterport3D skybox، إضافة التعليقات التوضيحية باستخدام BLIP، تقديم التخطيطات، وتدريب نماذج التقييم مثل FAED و HorizonNet.
هو مناسب لباحثي التعلم الآلي ومهندسي الرؤية الحاسوبية الذين يمتلكون إمكانية الوصول إلى عتاد متعدد وحدات معالجة الرسوميات مثل NVIDIA A100s. وهو غير مناسب للمستخدمين العاديين أو أولئك الذين ليس لديهم بنية تحتية للتعلم العميق وخبرة في Python.
يطوع نماذج الانتشار لتوليد صور بانورامية متساوية المستطيلات بـ 360 درجة.
يقوم بضبط نموذج ControlNet لتوليد بانوراما مشروطة بالتخطيط.
يستخدم Weights & Biases للتسجيل، التصور، وتحديد مشكلات التدريب.
يتضمن كود التدريب لنماذج التقييم لقياس جودة البانوراما والتخطيط.
مجاني بموجب ترخيص MIT الخاص به، مع عدم ذكر خيارات سحابية مستضافة في ملف README. التكلفة الوحيدة هي تشغيل العتاد اللازم للتدريب والاستدلال.
873 وظيفة مفتوحة عن بعد في تدريب الذكاء الاصطناعي، آخر تحديث ١٥ نوفمبر ٢٠٢٦؛ أجر معظمها $20–$170 في الساعة. منها 2 وظائف تطلب متحدثين بالعربية. يعرضها ذكائي مجانًا، والتقديم يتم على منصة جهة التوظيف.
يتطلب تدريب نموذج توليد النص إلى صورة 4 وحدات معالجة رسوميات NVIDIA A100، بينما يمكن لنماذج التقييم مثل FAED أو HorizonNet العمل على وحدة معالجة رسوميات NVIDIA A100 واحدة.
يستخدم إطار العمل بشكل أساسي مجموعة بيانات Matterport3D skybox ومجموعة بيانات Matterport3DLayoutAnnotation.
يمكنك تدريب واستخدام نموذج FAED المضمن أو نقاط التحقق HorizonNet لتقييم جودة الصورة والتخطيط.
شاهد Zekai أولاً في جوجل