Marco de evaluación detallado para puntuar, seleccionar y monitorizar las salidas de agentes de IA sin necesidad de reentrenamiento.
Clasifica las salidas candidatas de los agentes y supervisa el progreso de ejecución mediante modelos de puntuación basados en logprob.
LLM-as-a-Verifier es un framework de Python que utiliza la puntuación de distribución de logprob para evaluar y clasificar las trayectorias de agentes de IA. Está pensado para desarrolladores que crean flujos de trabajo de agentes y necesitan escalado en tiempo de inferencia, selección de salidas y seguimiento de progreso paso a paso sin afinar nuevos modelos. Los investigadores de IA médica pueden usarlo para clasificar trayectorias de agentes clínicos en benchmarks como MedAgentBench.
La herramienta evalúa trayectorias de agentes de múltiples pasos utilizando modelos de recompensa por pares, seguimiento de progreso paso a paso y torneos de pivote probabilísticos. Calcula expectativas de puntuación detalladas a partir de los logprobs de LLM según criterios de evaluación personalizados. Puedes utilizar modelos más pequeños como DeepSeek V4.1 Flash para verificar trayectorias generadas por sistemas más grandes.
Esta herramienta está dirigida a desarrolladores de IA e investigadores de informática médica que crean sistemas de agentes de múltiples pasos y desean una verificación automatizada en tiempo de inferencia. Es ideal para equipos que ejecutan benchmarks de agentes como MedAgentBench o SWE-Bench Verified. No está diseñada para servir como soporte de decisiones clínicas para usuarios finales sin integrarse en un flujo de trabajo de desarrollo más amplio.
Clasifica N trayectorias de agentes usando comparaciones por pares reducidas en lugar de matrices de todos contra todos completas.
Calcula puntuaciones de expectativa sobre toda la distribución de logprob de los tokens de evaluación para la selección de candidatos.
Monitorea las ejecuciones de los pasos de los agentes en directo con ProgressTracker para identificar ejecuciones fallidas de forma temprana.
Acepta diccionarios de criterios definidos por el usuario para evaluar dominios como el razonamiento clínico o las correcciones de código.
LLM-as-a-verifier es gratuito y de código abierto bajo la licencia MIT. El coste principal proviene del uso de tokens de la API del modelo o de ejecutar tu propio servidor GPU para generar logprobs.
877 puestos remotos abiertos de entrenamiento de IA, actualizados el 16 de noviembre de 2026; la mayoría paga $20–$175 por hora. 22 de ellos piden hispanohablantes. Zekai los lista gratis; la solicitud va a la plataforma del empleador.
Sí, puedes conectarlo a un servidor compatible con OpenAI como vllm serve siempre que devuelva los logprobs de los tokens.
Utiliza un torneo de pivote probabilístico para clasificar a los candidatos en comparaciones O(Nk) en lugar de comprobaciones completas O(N^2) de todos contra todos.
Sí, los benchmarks en el README muestran que verificadores más pequeños como DeepSeek V4.1 Flash consiguen clasificar con éxito ejecuciones de modelos más grandes como Claude Opus.
Ve Zekai primero en Google