Framework de avaliação granular para pontuar, selecionar e rastrear saídas de agentes de IA sem necessidade de novo treinamento.
Classifique saídas candidatas de agentes e monitore o progresso da execução usando modelos de pontuação baseados em logprob.
LLM-as-a-Verifier é um framework em Python que utiliza pontuação baseada em distribuição de logprob para avaliar e classificar trajetórias de agentes de IA. Ele é ideal para desenvolvedores que constroem fluxos de trabalho agênticos e precisam de escalabilidade em tempo de teste, seleção de saídas e rastreamento de progresso passo a passo sem ajustar novos modelos. Pesquisadores de IA médica podem usá-lo para classificar trajetórias de agentes clínicos em benchmarks como o MedAgentBench.
A ferramenta avalia trajetórias de agentes em várias etapas usando modelos de recompensa em pares, rastreamento de progresso de etapa única e Torneios Pivot Probabilísticos. Ela calcula expectativas de pontuação granular a partir de logprobs de LLM em critérios de avaliação personalizados. Você pode usar modelos mais fracos como o DeepSeek V4.1 Flash para verificar trajetórias geradas por sistemas maiores.
Esta ferramenta é adequada para desenvolvedores de IA e pesquisadores de informática médica que constroem sistemas de agentes multi-etapas e desejam verificação automatizada em tempo de teste. É ideal para equipes que executam benchmarks de agentes como MedAgentBench ou SWE-Bench Verified. Não se destina a suporte à decisão clínica para o usuário final sem integração em um fluxo de trabalho de desenvolvimento maior.
Classifica N trajetórias de agentes usando comparações em pares reduzidas em vez de matrizes de todos contra todos.
Calcula pontuações de expectativa sobre toda a distribuição de logprob de tokens de avaliação para seleção de candidatos.
Monitora execuções de etapas de agentes ao vivo com o ProgressTracker para identificar execuções com falha precocemente.
Aceita dicionários de critérios definidos pelo usuário para avaliar domínios como raciocínio clínico ou correções de código.
LLM-as-a-Verifier é gratuito e de código aberto sob a licença MIT. O custo principal vem do uso de tokens de API de modelo ou da execução do seu próprio servidor GPU para gerar logprobs.
879 vagas remotas abertas de treinamento de IA, atualizadas em 15 de novembro de 2026; a maioria paga $20–$175 por hora. 8 delas pedem falantes de português. O Zekai lista de graça; a candidatura vai para a plataforma do empregador.
Sim, você pode conectá-lo a um servidor compatível com OpenAI, como vllm serve, desde que ele retorne logprobs de tokens.
Ele usa um Torneio Pivot Probabilístico para classificar candidatos em O(Nk) comparações em vez de verificações completas de O(N^2) de todos contra todos.
Sim, os benchmarks no README mostram verificadores menores como o DeepSeek V4.1 Flash classificando com sucesso rolagens de modelos maiores como o Claude Opus.
Veja o Zekai primeiro no Google