Ruft Zielbilder mithilfe eines Referenzbildes ab, das mit Textänderungen über feinabgestimmte CLIP-Funktionen gekoppelt ist.
Kombinieren Sie Bildabfragen mit natürlichsprachlichen Textbearbeitungen, um visuelle Datenbanken mit multimodalen Embeddings zu durchsuchen.
CLIP4Cir ist eine Open-Source-PyTorch-Implementierung für Composed Image Retrieval (CIR) basierend auf der CLIP-Architektur von OpenAI. Sie ermöglicht Entwicklern und Forschern, Zielbilder mithilfe eines Basis-Referenzbildes in Kombination mit beschreibenden Textänderungen abzurufen. Sie eignet sich für Videoforschungs- und Medienindizierungsteams, die multimodale Suchsysteme aufbauen.
Das Framework stimmt beide CLIP-Encoder mithilfe eines kontrastiven Verlusts (Loss) auf kombinierte Bild-Text-Abfragen und Zielbilder fein ab. Anschließend trainiert es ein dediziertes Combiner-Netzwerk von Grund auf, um Bild- und Text-Feature-Vektoren zu einem einheitlichen Embedding für die Datenbankabfrage zusammenzuführen. Vorab trainierte Gewichte für FashionIQ- und CIRR-Datensätze werden zusammen mit Trainings- und Auswertungsskripten bereitgestellt.
Dieses Tool eignet sich für Computer-Vision-Forscher, Ingenieure für Video-Media-Asset-Management und ML-Entwickler, die Bild-und-Text-Abfrage-Pipelines aufbauen. Es ist nicht für Endbenutzer gedacht, die eine fertige Desktop-Videoeditor-GUI oder ein Plug-and-Play-Browser-Tool suchen.
Aktualisiert sowohl visuelle als auch textuelle CLIP-Encoder mithilfe einer elementweisen Feature-Summe und kontrastivem Verlust.
Trainiert ein spezialisiertes Fusionsnetzwerk, um Bild- und relative Bildunterschriften-Features (Captions) zu einem einzigen Abfragevektor zu kombinieren.
Bietet einsatzbereite PyTorch-Modell-Checkpoints, die auf den FashionIQ- und CIRR-Datensätzen über GitHub-Releases trainiert wurden.
Enthält Skripte zur Validierung und Generierung von CIRR-Testeinreichungen neben der Unterstützung für die Comet.ml-Experimentprotokollierung.
CLIP4Cir ist völlig kostenlos und Open Source unter der MIT-Lizenz. Die Hauptkosten entstehen durch die Bereitstellung Ihrer eigenen GPU-Infrastruktur und des Speichers für große Bilddatensätze.
873 offene Remote-Stellen im KI-Training, aktualisiert am 15. November 2026; die meisten zahlen $20–$170 pro Stunde. 12 davon suchen Deutschsprachige. Zekai listet sie kostenlos; die Bewerbung läuft über die Plattform des Arbeitgebers.
Composed Image Retrieval ermöglicht es Ihnen, eine visuelle Datenbank mithilfe eines Referenzbildes zusammen mit einem Text-Prompt zu durchsuchen, der die gewünschten Änderungen angibt.
Während Sie PyTorch theoretisch auf der CPU laden können, erfordert die Durchführung von Fine-Tuning oder vollständigem Datensatz-Retrieval innerhalb eines praktischen Zeitrahmens eine CUDA-fähige GPU.
Ja, vorab trainierte CLIP- und Combiner-Netzwerk-Checkpoints für FashionIQ und CIRR werden auf der GitHub-Releases-Seite des Projekts gehostet.
Zekai zuerst in Google sehen