Implementación en PyTorch para la generación de imágenes de panorámicas de 360 grados utilizando Stable Diffusion.
Destacado de CVPR 2024 que implementa PanFusion para la creación y evaluación de panorámicas inmersivas.
PanFusion es un framework basado en PyTorch que adapta Stable Diffusion para la generación de imágenes panorámicas de 360 grados a partir de texto. Está dirigido a investigadores y desarrolladores que trabajan en IA generativa, entornos 3D e imágenes espaciales.
La herramienta ofrece código completo de preprocesamiento de datos, entrenamiento, pruebas y evaluación para generar panorámicas de 360 grados a partir de prompts de texto. Incluye módulos para unir imágenes skybox de Matterport3D, generar subtítulos con BLIP, renderizar diseños y entrenar modelos de evaluación como FAED y HorizonNet.
Está dirigido a investigadores de aprendizaje automático e ingenieros de visión por computador con acceso a hardware multi-GPU como NVIDIA A100. No es adecuado para usuarios ocasionales o aquellos sin infraestructura de deep learning y experiencia en Python.
Adapta los modelos de difusión para generar imágenes panorámicas equirectangulares de 360 grados.
Ajusta un modelo ControlNet para la síntesis de panorámicas condicionadas por diseño.
Utiliza Weights & Biases para registrar, visualizar e identificar problemas de entrenamiento.
Incluye código de entrenamiento para modelos de evaluación para medir la calidad de la panorámica y del diseño.
Gratuito bajo su licencia MIT, sin opciones de nube alojada mencionadas en el README. El único coste es la ejecución del hardware requerido para el entrenamiento y la inferencia.
877 puestos remotos abiertos de entrenamiento de IA, actualizados el 16 de noviembre de 2026; la mayoría paga $20–$175 por hora. 22 de ellos piden hispanohablantes. Zekai los lista gratis; la solicitud va a la plataforma del empleador.
El entrenamiento del modelo de generación de texto a imagen requiere 4x GPUs NVIDIA A100, mientras que los modelos de evaluación como FAED o HorizonNet pueden ejecutarse en una sola NVIDIA A100.
El framework utiliza principalmente el conjunto de datos skybox de Matterport3D y el conjunto de datos Matterport3DLayoutAnnotation.
Puedes entrenar y utilizar el modelo FAED incluido o los puntos de control de HorizonNet para evaluar la calidad de la imagen y del diseño.
Ve Zekai primero en Google