Recupera imágenes de destino utilizando una imagen de referencia combinada con modificaciones de texto mediante características de CLIP afinadas.
Combina consultas de imágenes con ediciones de texto en lenguaje natural para buscar en bases de datos visuales con incrustaciones multimodales.
CLIP4Cir es una implementación de PyTorch de código abierto para la recuperación de imágenes compuestas (CIR) basada en la arquitectura CLIP de OpenAI. Permite a los desarrolladores e investigadores recuperar imágenes de destino utilizando una imagen de referencia base combinada con ediciones de texto descriptivas. Es adecuado para equipos de investigación de video e indexación de medios que construyen sistemas de búsqueda multimodal.
El marco afina ambos codificadores CLIP utilizando una pérdida contrastiva en consultas combinadas de imagen-texto e imágenes de destino. Luego entrena desde cero una red Combiner dedicada para fusionar los vectores de características de imagen y texto en una incrustación unificada para la búsqueda en bases de datos. Se proporcionan pesos preentrenados para los conjuntos de datos FashionIQ y CIRR junto con scripts de entrenamiento y evaluación.
Esta herramienta es adecuada para investigadores de visión por computador, ingenieros de gestión de activos de medios de video y desarrolladores de ML que construyen canales de consulta de imagen y texto. No está diseñada para usuarios finales que buscan una interfaz gráfica de usuario de editor de video de escritorio terminada o una herramienta de navegador lista para usar.
Actualiza los codificadores CLIP visuales y textuales utilizando una suma de características por elemento y pérdida contrastiva.
Entrena una red de fusión especializada para combinar características de imagen y subtítulos relativos en un solo vector de consulta.
Proporciona puntos de control de modelos de PyTorch listos para usar entrenados en los conjuntos de datos FashionIQ y CIRR a través de los lanzamientos de GitHub.
Incluye scripts para validación y generación de envíos de pruebas CIRR junto con soporte de registro de experimentos de Comet.ml.
CLIP4Cir es completamente gratuito y de código abierto bajo la licencia MIT. Los costos principales provienen de proporcionar su propia infraestructura de computación GPU y almacenamiento para grandes conjuntos de datos de imágenes.
879 puestos remotos abiertos de entrenamiento de IA, actualizados el 15 de noviembre de 2026; la mayoría paga $20–$175 por hora. 22 de ellos piden hispanohablantes. Zekai los lista gratis; la solicitud va a la plataforma del empleador.
La recuperación de imágenes compuestas te permite buscar en una base de datos visual utilizando una imagen de referencia junto con un mensaje de texto que especifica los cambios deseados.
Aunque teóricamente puedes cargar PyTorch en la CPU, ejecutar la afinación o la recuperación completa del conjunto de datos en un plazo de tiempo práctico requiere una GPU compatible con CUDA.
Sí, los puntos de control de CLIP y de la red Combiner preentrenados para FashionIQ y CIRR están alojados en la página de lanzamientos de GitHub del proyecto.
Ve Zekai primero en Google