Ferramentas de IA avaliadas para o seu trabalho
Ganhe treinando IA
🤝 Você está na biblioteca Grátis & Open Source — ferramentas feitas pela comunidade que você pode usar sem pagar. Um conceito diferente do nosso diretório de IA avaliado.
Início › Grátis & Open Source › Vídeo › CLIP4Cir
✦ Grátis & open sourceVídeo

CLIP4Cir

Recupera imagens de destino usando uma imagem de referência combinada com modificações de texto por meio de recursos do CLIP refinados.

Recuperação de Imagem Composta via CLIP e Aprendizagem Contrastiva

Combine consultas de imagem com edições de texto em linguagem natural para pesquisar em bancos de dados visuais com embeddings multimodais.

Grátis para sempre · open source · MIT
✓ Needs IT✓ No navegador✓ Colaboração em tempo real
6.4
ZEKAI
Ferramenta de busca multimodal poderosa
Grátis & open source · Vídeo
Facilidade de configuração4
Utilidade7
Manutenção9.5
Comunidade5
★ 196
GITHUB
Oct 2026
ATUALIZADO
MIT
LICENÇA
🛠 Não quer hospedar você mesmo? Nós configuramos para você →
⚡ Resposta rápida

O CLIP4Cir é uma implementação em PyTorch de código aberto para Composed Image Retrieval (CIR) baseada na arquitetura CLIP da OpenAI. Ele permite que desenvolvedores e pesquisadores recuperem imagens de destino usando uma imagem de referência base combinada com edições de texto descritivo. É adequado para equipes de pesquisa em vídeo e indexação de mídia que constroem sistemas de busca multimodal.

Funciona em
Cross-platform
Hospedagem
Self-host
Idiomas
Python
Licença
MIT

O que é

O framework afina (fine-tunes) ambos os codificadores CLIP usando perda contrastiva em consultas combinadas de imagem-texto e imagens de destino. Em seguida, treina uma rede Combiner dedicada do zero para mesclar vetores de recursos de imagem e texto em um embedding unificado para consulta em banco de dados. Pesos pré-treinados para os datasets FashionIQ e CIRR são fornecidos juntamente com scripts de treinamento e avaliação.

Para quem

Esta ferramenta é adequada para pesquisadores de visão computacional, engenheiros de gerenciamento de ativos de mídia em vídeo e desenvolvedores de ML que constroem pipelines de consulta de imagem e texto. Ela não foi projetada para usuários finais que procuram uma GUI de editor de vídeo de desktop finalizada ou uma ferramenta de navegador pronta para uso.

Recursos principais

Ajuste Fino de CLIP Orientado a Tarefas

Atualiza os codificadores CLIP visuais e textuais usando uma soma de recursos elemento a elemento e perda contrastiva.

Rede Combiner Multimodal Dedicada

Treina uma rede de fusão especializada para combinar recursos de imagem e legenda relativa em um único vetor de consulta.

Modelos de Benchmark Pré-Treinados

Fornece checkpoints de modelo PyTorch prontos para uso treinados nos datasets FashionIQ e CIRR por meio de lançamentos do GitHub.

Scripts de Avaliação de Dataset Estruturado

Inclui scripts para validação e geração de submissão de teste CIRR, juntamente com suporte a registro de experimentos Comet.ml.

Como começar

Pronto em 3 passos

1
Clone o repositório e configure um ambiente Conda com Python 3.8, PyTorch 1.11.0 e torchvision.
2
Baixe os arquivos de dataset (FashionIQ ou CIRR) e organize-os na estrutura de diretórios necessária.
3
Baixe os checkpoints pré-treinados das releases do GitHub ou execute clip_fine_tune.py e combiner_train.py.
Falando sério

Nosso veredito honesto

Pontos fortes

  • Combina imagens de referência visual com descrições de texto para recuperação precisa de imagens e quadros.
  • Supera as baselines padrão do CLIP em datasets de benchmark como FashionIQ e CIRR.
  • Fornece pesos de CLIP e da rede Combiner pré-treinados para avaliação rápida.
  • Inclui scripts de avaliação para conjuntos de validação e previsões de teste.

Onde deixa a desejar

  • Requer hardware de GPU compatível com CUDA e recursos computacionais pesados para refinar codificadores e treinar o Combiner.
  • O código carece de otimizações internas de velocidade, como checkpointing de gradiente e pré-computação de recursos.
  • Requisitos rígidos de layout de diretório de dataset para fluxos de trabalho de treinamento e teste.
  • Apenas linha de comando e biblioteca de código, sem interface de usuário visual.
Custo

Preços & licença

O CLIP4Cir é totalmente gratuito e de código aberto sob a licença MIT. Os custos principais vêm de fornecer sua própria infraestrutura de computação de GPU e armazenamento para grandes datasets de imagens.

Trabalho remunerado

Vagas para quem fala português

877 vagas remotas abertas de treinamento de IA, atualizadas em 16 de novembro de 2026; a maioria paga $20–$175 por hora. 8 delas pedem falantes de português. O Zekai lista de graça; a candidatura vai para a plataforma do empregador.

Ver todas as vagas abertas →
Comparar

Alternativas

🎁 Alternativas grátis & open source
Saiba mais

Use, ou deixe que a gente configure

📄 PDF grátis: CLIP4Cir para Vídeo
Um guia em linguagem simples para o seu primeiro resultado. Enviado ao seu e-mail.
🔔 64 pessoas querem um tutorial em vídeo completo — adicione seu voto
🛠 Não quer configurar você mesmo?
Nós instalamos, hospedamos e configuramos o CLIP4Cir para você — e treinamos sua equipe.
Deixe com a gente ↗
Perguntas

FAQ

O que é Composed Image Retrieval?

O Composed Image Retrieval permite pesquisar em um banco de dados visual usando uma imagem de referência juntamente com um comando de texto especificando as alterações desejadas.

Posso executar o CLIP4Cir sem uma GPU?

Embora você possa teoricamente carregar o PyTorch na CPU, executar o ajuste fino ou a recuperação completa do dataset dentro de um prazo prático requer uma GPU compatível com CUDA.

O CLIP4Cir fornece pesos de modelo pré-treinados?

Sim, os checkpoints de CLIP e da rede Combiner pré-treinados para FashionIQ e CIRR estão hospedados na página de releases do GitHub do projeto.

Radar

Últimas notícias de IA

✉️ O kit gratuito semanal
As melhores novas ferramentas grátis & open source para Vídeo — um e-mail curto por semana, no seu idioma.
Grátis · 1 e-mail/semana · cancele quando quiser
Ganhe dinheiro treinando IA →

Veja o Zekai primeiro no Google