KI-Tools, bewertet für deinen Beruf
Bezahlte KI-Jobs
🤝 Du bist in der Frei-&-Open-Source-Bibliothek — von der Community entwickelte Tools, die du kostenlos nutzen kannst. Ein anderes Konzept als unser bewertetes KI-Verzeichnis.
Start › Frei & Open Source › Video › CLIP4Cir
✦ Frei & Open SourceVideo

CLIP4Cir

Ruft Zielbilder mithilfe eines Referenzbildes ab, das mit Textänderungen über feinabgestimmte CLIP-Funktionen gekoppelt ist.

Composed Image Retrieval via CLIP und kontrastivem Lernen

Kombinieren Sie Bildabfragen mit natürlichsprachlichen Textbearbeitungen, um visuelle Datenbanken mit multimodalen Embeddings zu durchsuchen.

Für immer kostenlos · Open Source · MIT
✓ Needs IT✓ Im Browser✓ Echtzeit-Zusammenarbeit
6.4
ZEKAI
Leistungsstarkes multimodales Suchtool
Frei & Open Source · Video
Einfache Einrichtung4
Nützlichkeit7
Wartung9.5
Community5
★ 196
GITHUB
Oct 2026
AKTUALISIERT
MIT
LIZENZ
🛠 Keine Lust auf Self-Hosting? Wir richten es ein →
⚡ Schnelle Antwort

CLIP4Cir ist eine Open-Source-PyTorch-Implementierung für Composed Image Retrieval (CIR) basierend auf der CLIP-Architektur von OpenAI. Sie ermöglicht Entwicklern und Forschern, Zielbilder mithilfe eines Basis-Referenzbildes in Kombination mit beschreibenden Textänderungen abzurufen. Sie eignet sich für Videoforschungs- und Medienindizierungsteams, die multimodale Suchsysteme aufbauen.

Läuft auf
Cross-platform
Hosting
Self-host
Sprachen
Python
Lizenz
MIT

Was es ist

Das Framework stimmt beide CLIP-Encoder mithilfe eines kontrastiven Verlusts (Loss) auf kombinierte Bild-Text-Abfragen und Zielbilder fein ab. Anschließend trainiert es ein dediziertes Combiner-Netzwerk von Grund auf, um Bild- und Text-Feature-Vektoren zu einem einheitlichen Embedding für die Datenbankabfrage zusammenzuführen. Vorab trainierte Gewichte für FashionIQ- und CIRR-Datensätze werden zusammen mit Trainings- und Auswertungsskripten bereitgestellt.

Für wen

Dieses Tool eignet sich für Computer-Vision-Forscher, Ingenieure für Video-Media-Asset-Management und ML-Entwickler, die Bild-und-Text-Abfrage-Pipelines aufbauen. Es ist nicht für Endbenutzer gedacht, die eine fertige Desktop-Videoeditor-GUI oder ein Plug-and-Play-Browser-Tool suchen.

Wichtige Funktionen

Aufgabenorientiertes CLIP-Fine-Tuning

Aktualisiert sowohl visuelle als auch textuelle CLIP-Encoder mithilfe einer elementweisen Feature-Summe und kontrastivem Verlust.

Dediziertes multimodales Combiner-Netzwerk

Trainiert ein spezialisiertes Fusionsnetzwerk, um Bild- und relative Bildunterschriften-Features (Captions) zu einem einzigen Abfragevektor zu kombinieren.

Vorab trainierte Benchmark-Modelle

Bietet einsatzbereite PyTorch-Modell-Checkpoints, die auf den FashionIQ- und CIRR-Datensätzen über GitHub-Releases trainiert wurden.

Skripte zur Auswertung strukturierter Datensätze

Enthält Skripte zur Validierung und Generierung von CIRR-Testeinreichungen neben der Unterstützung für die Comet.ml-Experimentprotokollierung.

Erste Schritte

Startklar in 3 Schritten

1
Klonen Sie das Repository und richten Sie eine Conda-Umgebung mit Python 3.8, PyTorch 1.11.0 und torchvision ein.
2
Laden Sie die Datensatzdateien (FashionIQ oder CIRR) herunter und organisieren Sie sie in der erforderlichen Verzeichnisstruktur.
3
Laden Sie vorab trainierte Checkpoints von GitHub-Releases herunter oder führen Sie clip_fine_tune.py und combiner_train.py aus.
Klartext

Unser ehrliches Fazit

Stärken

  • Kombiniert visuelle Referenzbilder mit Textbeschreibungen für präzisen Bild- und Frame-Abruf.
  • Übertrifft Standard-CLIP-Baselines auf Benchmark-Datensätzen wie FashionIQ und CIRR.
  • Bietet vorab trainierte CLIP- und Combiner-Netzwerkgewichte für eine schnelle Evaluierung.
  • Enthält Auswertungsskripte für Validierungssätze und Testvorhersagen.

Schwächen

  • Erfordert CUDA-fähige GPU-Hardware und hohe Rechenressourcen, um Encoder abzustimmen und den Combiner zu trainieren.
  • Der Code lässt interne Geschwindigkeitsoptimierungen wie Gradient Checkpointing und Feature-Präkomputation vermissen.
  • Streng regulierte Anforderungen an das Datensatz-Verzeichnislayout für Trainings- und Test-Workflows.
  • Nur Befehlszeile (CLI) und Code-Bibliothek, es fehlt eine visuelle Benutzeroberfläche.
Kosten

Preise & Lizenz

CLIP4Cir ist völlig kostenlos und Open Source unter der MIT-Lizenz. Die Hauptkosten entstehen durch die Bereitstellung Ihrer eigenen GPU-Infrastruktur und des Speichers für große Bilddatensätze.

Bezahlte Arbeit

Stellen für Deutschsprachige

873 offene Remote-Stellen im KI-Training, aktualisiert am 15. November 2026; die meisten zahlen $20–$170 pro Stunde. 12 davon suchen Deutschsprachige. Zekai listet sie kostenlos; die Bewerbung läuft über die Plattform des Arbeitgebers.

Alle offenen Stellen ansehen →
Vergleich

Alternativen

🎁 Freie & Open-Source-Alternativen
Mehr

Nutze es, oder lass es uns einrichten

📄 Kostenloses PDF: CLIP4Cir für Video
Ein verständlicher Leitfaden für dein erstes Ergebnis. Direkt in dein Postfach.
🔔 64 Personen wünschen sich ein komplettes Video-Tutorial — stimme ab
🛠 Keine Lust auf eigene Einrichtung?
Wir installieren, hosten & konfigurieren CLIP4Cir für dich — und schulen dein Team.
Erledigen lassen ↗
Fragen

FAQ

Was ist Composed Image Retrieval?

Composed Image Retrieval ermöglicht es Ihnen, eine visuelle Datenbank mithilfe eines Referenzbildes zusammen mit einem Text-Prompt zu durchsuchen, der die gewünschten Änderungen angibt.

Kann ich CLIP4Cir ohne GPU ausführen?

Während Sie PyTorch theoretisch auf der CPU laden können, erfordert die Durchführung von Fine-Tuning oder vollständigem Datensatz-Retrieval innerhalb eines praktischen Zeitrahmens eine CUDA-fähige GPU.

Bietet CLIP4Cir vorab trainierte Modellgewichte an?

Ja, vorab trainierte CLIP- und Combiner-Netzwerk-Checkpoints für FashionIQ und CIRR werden auf der GitHub-Releases-Seite des Projekts gehostet.

Radar

Neueste KI-News

✉️ Das wöchentliche kostenlose Toolkit
Die besten neuen freien & Open-Source-Tools für Video — eine kurze E-Mail pro Woche, in deiner Sprache.
Kostenlos · 1 E-Mail/Woche · jederzeit abbestellbar
Mit KI-Training Geld verdienen →

Zekai zuerst in Google sehen