Recupera imagens de destino usando uma imagem de referência combinada com modificações de texto por meio de recursos do CLIP refinados.
Combine consultas de imagem com edições de texto em linguagem natural para pesquisar em bancos de dados visuais com embeddings multimodais.
O CLIP4Cir é uma implementação em PyTorch de código aberto para Composed Image Retrieval (CIR) baseada na arquitetura CLIP da OpenAI. Ele permite que desenvolvedores e pesquisadores recuperem imagens de destino usando uma imagem de referência base combinada com edições de texto descritivo. É adequado para equipes de pesquisa em vídeo e indexação de mídia que constroem sistemas de busca multimodal.
O framework afina (fine-tunes) ambos os codificadores CLIP usando perda contrastiva em consultas combinadas de imagem-texto e imagens de destino. Em seguida, treina uma rede Combiner dedicada do zero para mesclar vetores de recursos de imagem e texto em um embedding unificado para consulta em banco de dados. Pesos pré-treinados para os datasets FashionIQ e CIRR são fornecidos juntamente com scripts de treinamento e avaliação.
Esta ferramenta é adequada para pesquisadores de visão computacional, engenheiros de gerenciamento de ativos de mídia em vídeo e desenvolvedores de ML que constroem pipelines de consulta de imagem e texto. Ela não foi projetada para usuários finais que procuram uma GUI de editor de vídeo de desktop finalizada ou uma ferramenta de navegador pronta para uso.
Atualiza os codificadores CLIP visuais e textuais usando uma soma de recursos elemento a elemento e perda contrastiva.
Treina uma rede de fusão especializada para combinar recursos de imagem e legenda relativa em um único vetor de consulta.
Fornece checkpoints de modelo PyTorch prontos para uso treinados nos datasets FashionIQ e CIRR por meio de lançamentos do GitHub.
Inclui scripts para validação e geração de submissão de teste CIRR, juntamente com suporte a registro de experimentos Comet.ml.
O CLIP4Cir é totalmente gratuito e de código aberto sob a licença MIT. Os custos principais vêm de fornecer sua própria infraestrutura de computação de GPU e armazenamento para grandes datasets de imagens.
877 vagas remotas abertas de treinamento de IA, atualizadas em 16 de novembro de 2026; a maioria paga $20–$175 por hora. 8 delas pedem falantes de português. O Zekai lista de graça; a candidatura vai para a plataforma do empregador.
O Composed Image Retrieval permite pesquisar em um banco de dados visual usando uma imagem de referência juntamente com um comando de texto especificando as alterações desejadas.
Embora você possa teoricamente carregar o PyTorch na CPU, executar o ajuste fino ou a recuperação completa do dataset dentro de um prazo prático requer uma GPU compatível com CUDA.
Sim, os checkpoints de CLIP e da rede Combiner pré-treinados para FashionIQ e CIRR estão hospedados na página de releases do GitHub do projeto.
Veja o Zekai primeiro no Google