يسترد الصور المستهدفة باستخدام صورة مرجعية مقترنة بتعديلات نصية عبر ميزات CLIP مضبوطة بدقة.
امزج بين استعلامات الصور وتعديلات النص باللغة الطبيعية للبحث في قواعد البيانات المرئية باستخدام التضمينات متعددة الوسائط.
CLIP4Cir هو تطبيق PyTorch مفتوح المصدر لاسترجاع الصور المركبة (CIR) استناداً إلى معمومية CLIP من OpenAI. يتيح للمطورين والباحثين استرجاع الصور المستهدفة باستخدام صورة مرجعية أساسية مقترنة بتعديلات نصية وصفية. وهو مناسب لأبحاث الفيديو وفرق فهرسة الوسائط التي تبني أنظمة بحث متعددة الوسائط.
يعمل الإطار على ضبط encoders الخاصة بـ CLIP بدقة باستخدام الخسارة التباينية على استعلامات الصور والنصوص المدمجة والصور المستهدفة. ثم يقوم بتدريب شبكة Combiner مخصصة من الصفر لدمج متجهات ميزات الصور والنصوص في تضمين موحد للبحث في قاعدة البيانات. يتم توفير الأوزان المدربة مسبقاً لمجموعات بيانات FashionIQ و CIRR إلى جانب نصوص التدريب والتقييم.
تناسب هذه الأداة باحثي الرؤية الحاسوبية، مهندسي إدارة أصول وسائط الفيديو، ومطوري تعلم الآلة الذين يبنون خطوط أنابيب استعلام الصور والنصوص. وهي غير مصممة للمستخدمين النهائيين الذين يبحثون عن واجهة رسومية جاهزة لبرنامج تحرير فيديو مكتبي أو أداة متصفح جاهزة للاستخدام.
يقوم بتحديث ترميزات CLIP المرئية والنصية باستخدام مجموع ميزات عنصرية وخسارة تباينية.
تدرب شبكة دمج متخصصة لجمع ميزات الصورة والتعليق النسبي في متجه استعلام واحد.
توفر نقاط تحقق نموذج PyTorch جاهزة للاستخدام مدربة على مجموعات بيانات FashionIQ و CIRR عبر إصدارات GitHub.
تتضمن برامج للتحقق من الصحة وإنشاء تقديم اختبار CIRR إلى جانب دعم تسجيل تجارب Comet.ml.
CLIP4Cir مجاني تماماً ومفتوح المصدر بموجب ترخيص MIT. التكاليف الأساسية تأتي من توفير البنية الأساسية للحوسبة الخاصة بك عبر وحدة معالجة الرسومات (GPU) والتخزين لمجموعات البيانات الكبيرة للصور.
873 وظيفة مفتوحة عن بعد في تدريب الذكاء الاصطناعي، آخر تحديث ١٥ نوفمبر ٢٠٢٦؛ أجر معظمها $20–$170 في الساعة. منها 2 وظائف تطلب متحدثين بالعربية. يعرضها ذكائي مجانًا، والتقديم يتم على منصة جهة التوظيف.
يسمح لك استرجاع الصور المركبة بالبحث في قاعدة بيانات مرئية باستخدام صورة مرجعية إلى جانب موجه نصي يحدد التغييرات المطلوبة.
بينما يمكنك نظرياً تحميل PyTorch على وحدة المعالجة المركزية (CPU)، فإن تشغيل الضبط الدقيق أو استرجاع مجموعة البيانات بالكامل خلال إطار زمن عملي يتطلب وحدة معالجة رسومات تدعم CUDA.
نعم، يتم استضافة نقاط التحقق لشبكة CLIP و Combiner المدربة مسبقاً لـ FashionIQ و CIRR على صفحة إصدارات GitHub الخاصة بالمشروع.
شاهد Zekai أولاً في جوجل