Récupère des images cibles à l'aide d'une image de référence associée à des modifications textuelles via des fonctionnalités CLIP affinées.
Combinez des requêtes d'images avec des modifications de texte en langage naturel pour rechercher dans des bases de données visuelles à l'aide d'embeddings multimodaux.
CLIP4Cir est une implémentation PyTorch open source pour la recherche d'images composées (CIR) basée sur l'architecture CLIP d'OpenAI. Elle permet aux développeurs et aux chercheurs de récupérer des images cibles à l'aide d'une image de référence de base combinée à des modifications de texte descriptives. Elle convient à la recherche vidéo et aux équipes d'indexation de médias qui construisent des systèmes de recherche multimodaux.
Le framework affine les deux encodeurs CLIP à l'aide d'une perte contrastive sur des requêtes combinant image et texte et des images cibles. Il entraîne ensuite un réseau Combiner dédié à partir de zéro pour fusionner les vecteurs de caractéristiques d'image et de texte en un embedding unifié pour la recherche dans la base de données. Des poids pré-entraînés pour les jeux de données FashionIQ et CIRR sont fournis avec des scripts d'entraînement et d'évaluation.
Cet outil s'adresse aux chercheurs en vision par ordinateur, aux ingénieurs en gestion d'actifs multimédias vidéo et aux développeurs ML qui construisent des pipelines de requêtes d'images et de textes. Il n'est pas conçu pour les utilisateurs finaux recherchant une interface graphique d'éditeur vidéo de bureau ou un outil de navigateur prêt à l'emploi.
Met à jour les encodeurs CLIP visuels et textuels à l'aide d'une somme de caractéristiques par élément et d'une perte contrastive.
Entraîne un réseau de fusion spécialisé pour combiner les caractéristiques d'image et de légende relative en un seul vecteur de requête.
Fournit des points de contrôle de modèles PyTorch prêts à l'emploi entraînés sur les jeux de données FashionIQ et CIRR via les publications GitHub.
Comprend des scripts pour la validation et la génération de soumissions de test CIRR ainsi que la prise en charge de la journalisation des expériences Comet.ml.
CLIP4Cir est entièrement gratuit et open source sous licence MIT. Les principaux coûts proviennent de la fourniture de votre propre infrastructure de calcul GPU et de stockage pour les grands ensembles de données d'images.
877 missions ouvertes à distance en entraînement d’IA, mises à jour le 16 novembre 2026 ; la plupart paient $20–$175 de l’heure. 8 d’entre elles demandent des francophones. Zekai les liste gratuitement ; la candidature se fait sur la plateforme de l’employeur.
La recherche d'images composées vous permet de rechercher dans une base de données visuelle à l'aide d'une image de référence ainsi qu'une invite textuelle spécifiant les modifications souhaitées.
Bien que vous puissiez théoriquement charger PyTorch sur CPU, l'exécution de l'affinage ou de la recherche complète sur l'ensemble de données dans un délai pratique nécessite un GPU compatible CUDA.
Oui, les points de contrôle pré-entraînés de CLIP et du réseau Combiner pour FashionIQ et CIRR sont hébergés sur la page des versions GitHub du projet.
Voir Zekai en premier dans Google