Ferramentas de IA avaliadas para o seu trabalho
Ganhe treinando IA
🤝 Você está na biblioteca Grátis & Open Source — ferramentas feitas pela comunidade que você pode usar sem pagar. Um conceito diferente do nosso diretório de IA avaliado.
Início › Grátis & Open Source › Medicina › llm-as-a-verifier
✦ Grátis & open sourceMedicina

llm-as-a-verifier

Framework de avaliação granular para pontuar, selecionar e rastrear saídas de agentes de IA sem necessidade de novo treinamento.

Verificação granular de agentes e avaliação passo a passo

Classifique saídas candidatas de agentes e monitore o progresso da execução usando modelos de pontuação baseados em logprob.

Grátis para sempre · open source · MIT
✓ Light setup✓ No navegador✓ Colaboração em tempo real
7.8
ZEKAI
Verificador de trajetórias de agentes.
Grátis & open source · Medicina
Facilidade de configuração6
Utilidade8
Manutenção9.5
Comunidade7.5
★ 3,322
GITHUB
Oct 2026
ATUALIZADO
MIT
LICENÇA
🛠 Não quer hospedar você mesmo? Nós configuramos para você →
⚡ Resposta rápida

LLM-as-a-Verifier é um framework em Python que utiliza pontuação baseada em distribuição de logprob para avaliar e classificar trajetórias de agentes de IA. Ele é ideal para desenvolvedores que constroem fluxos de trabalho agênticos e precisam de escalabilidade em tempo de teste, seleção de saídas e rastreamento de progresso passo a passo sem ajustar novos modelos. Pesquisadores de IA médica podem usá-lo para classificar trajetórias de agentes clínicos em benchmarks como o MedAgentBench.

Funciona em
Cross-platform
Hospedagem
Self-host
Idiomas
Python
Licença
MIT

O que é

A ferramenta avalia trajetórias de agentes em várias etapas usando modelos de recompensa em pares, rastreamento de progresso de etapa única e Torneios Pivot Probabilísticos. Ela calcula expectativas de pontuação granular a partir de logprobs de LLM em critérios de avaliação personalizados. Você pode usar modelos mais fracos como o DeepSeek V4.1 Flash para verificar trajetórias geradas por sistemas maiores.

Para quem

Esta ferramenta é adequada para desenvolvedores de IA e pesquisadores de informática médica que constroem sistemas de agentes multi-etapas e desejam verificação automatizada em tempo de teste. É ideal para equipes que executam benchmarks de agentes como MedAgentBench ou SWE-Bench Verified. Não se destina a suporte à decisão clínica para o usuário final sem integração em um fluxo de trabalho de desenvolvimento maior.

Recursos principais

Torneio Pivot Probabilístico

Classifica N trajetórias de agentes usando comparações em pares reduzidas em vez de matrizes de todos contra todos.

Pontuação de Logprob Granular

Calcula pontuações de expectativa sobre toda a distribuição de logprob de tokens de avaliação para seleção de candidatos.

Rastreamento de Progresso em Tempo Real

Monitora execuções de etapas de agentes ao vivo com o ProgressTracker para identificar execuções com falha precocemente.

Avaliação de Critérios Personalizados

Aceita dicionários de critérios definidos pelo usuário para avaliar domínios como raciocínio clínico ou correções de código.

Como começar

Pronto em 3 passos

1
Instale o pacote via pip usando 'pip install llm-verifier'.
2
Configure suas chaves de API ou execute um servidor vLLM local que retorne logprobs de tokens.
3
Chame 'llm_verifier.select()' com sua declaração de problema, trajetórias candidatas e critérios.
Falando sério

Nosso veredito honesto

Pontos fortes

  • Classifica trajetórias de agentes de forma eficiente usando comparações em pares O(Nk).
  • Fornece rastreamento passo a passo ao vivo para interromper rolagens de agentes com falha precocemente.
  • Funciona em APIs de modelos proprietários e endpoints vLLM auto-hospedados.
  • Não requer treinamento adicional ou ajuste fino de modelos verificadores.

Onde deixa a desejar

  • Requer acesso a APIs de modelos externos ou configurações de GPU local que retornem logprobs de tokens.
  • Avaliações repetidas de candidatos geram uso significativo de tokens de API ou sobrecarga de computação.
  • Requer codificação em Python para integrar fluxos de trabalho de pontuação em pipelines de agentes existentes.
Custo

Preços & licença

LLM-as-a-Verifier é gratuito e de código aberto sob a licença MIT. O custo principal vem do uso de tokens de API de modelo ou da execução do seu próprio servidor GPU para gerar logprobs.

Trabalho remunerado

Vagas para quem fala português

879 vagas remotas abertas de treinamento de IA, atualizadas em 15 de novembro de 2026; a maioria paga $20–$175 por hora. 8 delas pedem falantes de português. O Zekai lista de graça; a candidatura vai para a plataforma do empregador.

Ver todas as vagas abertas →
Comparar

Alternativas

🎁 Alternativas grátis & open source
Saiba mais

Use, ou deixe que a gente configure

📄 PDF grátis: llm-as-a-verifier para Medicina
Um guia em linguagem simples para o seu primeiro resultado. Enviado ao seu e-mail.
🔔 64 pessoas querem um tutorial em vídeo completo — adicione seu voto
🛠 Não quer configurar você mesmo?
Nós instalamos, hospedamos e configuramos o llm-as-a-verifier para você — e treinamos sua equipe.
Deixe com a gente ↗
Perguntas

FAQ

Posso executar isso com um LLM hospedado localmente?

Sim, você pode conectá-lo a um servidor compatível com OpenAI, como vllm serve, desde que ele retorne logprobs de tokens.

Como isso reduz os custos de avaliação para a seleção de melhor de N?

Ele usa um Torneio Pivot Probabilístico para classificar candidatos em O(Nk) comparações em vez de verificações completas de O(N^2) de todos contra todos.

Um modelo menor pode verificar a saída de um modelo maior?

Sim, os benchmarks no README mostram verificadores menores como o DeepSeek V4.1 Flash classificando com sucesso rolagens de modelos maiores como o Claude Opus.

Radar

Últimas notícias de IA

✉️ O kit gratuito semanal
As melhores novas ferramentas grátis & open source para Medicina — um e-mail curto por semana, no seu idioma.
Grátis · 1 e-mail/semana · cancele quando quiser
Ganhe dinheiro treinando IA →

Veja o Zekai primeiro no Google