फाइन-ट्यून किए गए CLIP फीचर्स के माध्यम से टेक्स्ट संशोधनों के साथ जोड़ी गई संदर्भ छवि का उपयोग करके लक्ष्य छवियों को पुनः प्राप्त करता है।
मल्टीमॉडल एम्बेडिंग के साथ विजुअल डेटाबेस खोजने के लिए इमेज क्वेरी को नेचुरल लैंग्वेज टेक्स्ट एडिट्स के साथ मिलाएं।
CLIP4Cir, OpenAI के CLIP आर्किटेक्चर पर आधारित कंपोज्ड इमेज रिट्रीवल (CIR) के लिए एक open-source PyTorch इम्प्लीमेंटेशन है। यह डेवलपर्स और शोधकर्ताओं को बेसलाइन संदर्भ छवि और वर्णनात्मक टेक्स्ट एडिट्स के संयोजन का उपयोग करके लक्ष्य छवियों को पुनः प्राप्त करने की अनुमति देता है। यह मल्टीमॉडल सर्च सिस्टम बनाने वाली वीडियो अनुसंधान और मीडिया इंडेक्सिंग टीमों के लिए उपयुक्त है।
यह फ्रेमवर्क संयुक्त इमेज-टेक्स्ट क्वेरी और लक्ष्य छवियों पर कंट्रास्टेटिव लॉस का उपयोग करके दोनों CLIP एनकोडर को फाइन-ट्यून करता है। फिर यह डेटाबेस लुकअप के लिए इमेज और टेक्स्ट फीचर वेक्टर को एक एकीकृत एम्बेडिंग में मर्ज करने के लिए खरोंच से एक समर्पित Combiner नेटवर्क को प्रशिक्षित करता है। प्रशिक्षण और मूल्यांकन स्क्रिप्ट के साथ FashionIQ और CIRR डेटासेट के लिए प्री-ट्रेन किए गए वेट प्रदान किए जाते हैं।
यह टूल कंप्यूटर विजन शोधकर्ताओं, वीडियो मीडिया एसेट मैनेजमेंट इंजीनियरों और इमेज-एंड-टेक्स्ट क्वेरी पाइपलाइन बनाने वाले ML डेवलपर्स के लिए उपयुक्त है। इसे तैयार डेस्कटॉप वीडियो एडिटर GUI या प्लग-एंड-प्ले ब्राउज़र टूल की तलाश कर रहे अंत उपयोगकर्ताओं के लिए डिज़ाइन नहीं किया गया है।
एलिमेंट-वाइज फीचर सम और कंट्रास्टेटिव लॉस का उपयोग करके विजुअल और टेक्स्टुअल दोनों CLIP एनकोडर को अपडेट करता है।
इमेज और सापेक्ष कैप्शन फीचर्स को एक ही क्वेरी वेक्टर में संयोजित करने के लिए एक विशेष फ़्यूजन नेटवर्क को प्रशिक्षित करता है।
GitHub रिलीज़ के माध्यम से FashionIQ और CIRR डेटासेट पर प्रशिक्षित उपयोग के लिए तैयार PyTorch मॉडल चेकपॉइंट प्रदान करता है।
Comet.ml प्रयोग लॉगिंग समर्थन के साथ सत्यापन और CIRR परीक्षण सबमिशन जनरेशन के लिए स्क्रिप्ट शामिल हैं।
CLIP4Cir MIT लाइसेंस के तहत पूरी तरह से मुफ़्त और open source है। प्राथमिक लागत बड़े छवि डेटासेट के लिए अपना खुद का GPU कंप्यूट इंफ्रास्ट्रक्चर और स्टोरेज प्रदान करने से आती है।
879 खुले रिमोट AI-ट्रेनिंग रोल, 15 नवंबर 2026 को अपडेट; ज़्यादातर में $20–$175 प्रति घंटा। इनमें से 5 हिंदी बोलने वालों के लिए हैं। Zekai इन्हें मुफ़्त में लिस्ट करता है; आवेदन एम्प्लॉयर के प्लेटफ़ॉर्म पर जाता है।
कंपोज्ड इमेज रिट्रीवल आपको वांछित परिवर्तनों निर्दिष्ट करने वाले टेक्स्ट प्रॉम्प्ट के साथ-साथ संदर्भ छवि का उपयोग करके विजुअल डेटाबेस खोजने की अनुमति देता है।
जबकि आप सैद्धांतिक रूप से CPU पर PyTorch लोड कर सकते हैं, व्यावहारिक समय सीमा के भीतर फाइन-ट्यूनिंग या पूर्ण डेटासेट पुनर्प्राप्ति चलाने के लिए CUDA-सक्षम GPU की आवश्यकता होती है।
हाँ, FashionIQ और CIRR के लिए प्री-ट्रेन किए गए CLIP और Combiner नेटवर्क चेकपॉइंट प्रोजेक्ट GitHub रिलीज़ पेज पर होस्ट किए गए हैं।
Google में Zekai को सबसे पहले देखें