Извлекает целевые изображения с помощью эталонного изображения в сочетании с текстовыми изменениями посредством дообученных признаков CLIP.
Объединяйте запросы изображений с текстовыми правками на естественном языке для поиска по визуальным базам данных с помощью мультимодальных эмбеддингов.
CLIP4Cir — это open source реализация на PyTorch для Composed Image Retrieval (CIR) на базе архитектуры CLIP от OpenAI. Она позволяет разработчикам и исследователям находить целевые изображения, используя исходное эталонное изображение в сочетании с описательными текстовыми правками. Инструмент подходит для исследователей видео и команд медиаиндексации, создающих мультимодальные поисковые системы.
Фреймворк дообучает оба энкодера CLIP с использованием контрастивного лосса на комбинированных запросах «изображение-текст» и целевых изображениях. Затем он обучает с нуля специализированную сеть Combiner для слияния векторов признаков изображения и текста в единый эмбеддинг для поиска в базе данных. Предобученные веса для датасетов FashionIQ и CIRR поставляются вместе со скриптами обучения и оценки.
Этот инструмент подходит для исследователей компьютерного зрения, инженеров по управлению видеомедиаактивами и ML-разработчиков, создающих конвейеры запросов из изображений и текста. Он не предназначен для конечных пользователей, ищущих готовый графический интерфейс десктопного видеоредактора или браузерный инструмент по принципу «plug-and-play».
Обновляет визуальный и текстовый энкодеры CLIP с помощью поэлементного сложения признаков и контрастивного лосса.
Обучает специализированную сеть слияния для объединения признаков изображения и относительного описания в один вектор запроса.
Предоставляет готовые к использованию чекпоинты моделей PyTorch, обученные на датасетах FashionIQ и CIRR через релизы на GitHub.
Включает скрипты для валидации и генерации тестовых сабмитов CIRR наряду с поддержкой логирования экспериментов Comet.ml.
CLIP4Cir абсолютно бесплатен и имеет открытый исходный код под лицензией MIT. Основные затраты связаны с предоставлением собственной GPU-инфраструктуры вычислений и хранилища для больших наборов данных изображений.
877 открытых удалённых вакансий по обучению ИИ, обновлено 16 ноября 2026 г.; в большинстве оплата $20–$175 в час. Из них 2 — для носителей русского языка. Zekai публикует их бесплатно; отклик уходит на платформу работодателя.
Composed Image Retrieval позволяет выполнять поиск по визуальной базе данных с использованием эталонного изображения наряду с текстовым промптом, указывающим желаемые изменения.
Хотя теоретически вы можете загрузить PyTorch на CPU, запуск дообучения или поиска по всему датасету в приемлемые сроки требует GPU с поддержкой CUDA.
Да, предобученные чекпоинты сети CLIP и Combiner для FashionIQ и CIRR размещены на странице релизов проекта на GitHub.
Zekai первым в Google