ИИ-инструменты с оценкой для вашей профессии
Заработок с ИИ
🤝 Вы в библиотеке «Бесплатно и Open Source» — инструменты от сообщества, которыми можно пользоваться бесплатно. Это другой формат, чем наш оценённый каталог ИИ.
Главная › Бесплатно и Open Source › Видео › CLIP4Cir
✦ Бесплатно и open sourceВидео

CLIP4Cir

Извлекает целевые изображения с помощью эталонного изображения в сочетании с текстовыми изменениями посредством дообученных признаков CLIP.

Поиск составных изображений с помощью CLIP и контрастивного обучения

Объединяйте запросы изображений с текстовыми правками на естественном языке для поиска по визуальным базам данных с помощью мультимодальных эмбеддингов.

Бесплатно навсегда · open source · MIT
✓ Needs IT✓ В браузере✓ Совместная работа в реальном времени
6.4
ZEKAI
Мощный инструмент мультимодального поиска
Бесплатно и open source · Видео
Простота настройки4
Полезность7
Поддержка9.5
Сообщество5
★ 196
GITHUB
Oct 2026
ОБНОВЛЕНО
MIT
ЛИЦЕНЗИЯ
🛠 Не хотите размещать сами? Мы настроим за вас →
⚡ Быстрый ответ

CLIP4Cir — это open source реализация на PyTorch для Composed Image Retrieval (CIR) на базе архитектуры CLIP от OpenAI. Она позволяет разработчикам и исследователям находить целевые изображения, используя исходное эталонное изображение в сочетании с описательными текстовыми правками. Инструмент подходит для исследователей видео и команд медиаиндексации, создающих мультимодальные поисковые системы.

Работает на
Cross-platform
Хостинг
Self-host
Языки
Python
Лицензия
MIT

Что это

Фреймворк дообучает оба энкодера CLIP с использованием контрастивного лосса на комбинированных запросах «изображение-текст» и целевых изображениях. Затем он обучает с нуля специализированную сеть Combiner для слияния векторов признаков изображения и текста в единый эмбеддинг для поиска в базе данных. Предобученные веса для датасетов FashionIQ и CIRR поставляются вместе со скриптами обучения и оценки.

Для кого

Этот инструмент подходит для исследователей компьютерного зрения, инженеров по управлению видеомедиаактивами и ML-разработчиков, создающих конвейеры запросов из изображений и текста. Он не предназначен для конечных пользователей, ищущих готовый графический интерфейс десктопного видеоредактора или браузерный инструмент по принципу «plug-and-play».

Ключевые возможности

Тонкая настройка CLIP под конкретные задачи

Обновляет визуальный и текстовый энкодеры CLIP с помощью поэлементного сложения признаков и контрастивного лосса.

Специализированная мультимодальная сеть Combiner

Обучает специализированную сеть слияния для объединения признаков изображения и относительного описания в один вектор запроса.

Предобученные бенчмарк-модели

Предоставляет готовые к использованию чекпоинты моделей PyTorch, обученные на датасетах FashionIQ и CIRR через релизы на GitHub.

Скрипты структурированной оценки датасетов

Включает скрипты для валидации и генерации тестовых сабмитов CIRR наряду с поддержкой логирования экспериментов Comet.ml.

Как начать

Готово за 3 шага

1
Клонируйте репозиторий и настройте окружение Conda с Python 3.8, PyTorch 1.11.0 и torchvision.
2
Загрузите файлы датасетов (FashionIQ или CIRR) и организуйте их в требуемую структуру директорий.
3
Загрузите предобученные чекпоинты из релизов GitHub или запустите clip_fine_tune.py и combiner_train.py.
Честно

Наш честный вердикт

Плюсы

  • Соединяет визуальные эталонные изображения с текстовыми описаниями для точного поиска изображений и кадров.
  • Превосходит стандартные базовые модели CLIP на таких бенчмарк-датасетах, как FashionIQ и CIRR.
  • Предоставляет предобученные веса сети CLIP и Combiner для быстрой оценки.
  • Включает скрипты оценки для валидационных наборов и тестовых предсказаний.

Минусы

  • Требует аппаратного обеспечения с поддержкой CUDA и тяжелых вычислительных ресурсов для дообучения энкодеров и обучения Combiner.
  • В коде отсутствуют внутренние оптимизации скорости, такие как чекпоинтинг градиентов и прекомпиляция признаков.
  • Строгие требования к структуре директорий датасетов для рабочих процессов обучения и тестирования.
  • Доступны только командная строка и библиотека кода, отсутствуют визуальный интерфейс пользователя.
Стоимость

Цены и лицензия

CLIP4Cir абсолютно бесплатен и имеет открытый исходный код под лицензией MIT. Основные затраты связаны с предоставлением собственной GPU-инфраструктуры вычислений и хранилища для больших наборов данных изображений.

Оплачиваемая работа

Вакансии для носителей русского языка

877 открытых удалённых вакансий по обучению ИИ, обновлено 16 ноября 2026 г.; в большинстве оплата $20–$175 в час. Из них 2 — для носителей русского языка. Zekai публикует их бесплатно; отклик уходит на платформу работодателя.

Все открытые вакансии →
Сравнить

Альтернативы

🎁 Бесплатные и open-source альтернативы
Больше

Используйте сами или мы всё настроим

📄 Бесплатный PDF: CLIP4Cir для Видео
Простое руководство для первого результата. Придёт на вашу почту.
🔔 64 человек хотят полный видеоурок — добавьте свой голос
🛠 Не хотите настраивать сами?
Мы установим, разместим и настроим CLIP4Cir за вас — и обучим вашу команду.
Доверьте это нам ↗
Вопросы

Вопросы

Что такое Composed Image Retrieval?

Composed Image Retrieval позволяет выполнять поиск по визуальной базе данных с использованием эталонного изображения наряду с текстовым промптом, указывающим желаемые изменения.

Могу ли я запустить CLIP4Cir без GPU?

Хотя теоретически вы можете загрузить PyTorch на CPU, запуск дообучения или поиска по всему датасету в приемлемые сроки требует GPU с поддержкой CUDA.

Предоставляет ли CLIP4Cir предобученные веса моделей?

Да, предобученные чекпоинты сети CLIP и Combiner для FashionIQ и CIRR размещены на странице релизов проекта на GitHub.

Радар

Свежие новости ИИ

✉️ Еженедельный бесплатный набор
Лучшие новые бесплатные и open-source инструменты для Видео — короткое письмо раз в неделю, на вашем языке.
Бесплатно · 1 письмо/неделю · отписка в любой момент
Заработок на обучении ИИ →

Zekai первым в Google