Herramientas de IA puntuadas para tu trabajo
Gana entrenando IA
🤝 Estás en la biblioteca Gratis y Open Source — herramientas creadas por la comunidad que puedes usar sin pagar. Un concepto distinto a nuestro directorio de IA puntuado.
Inicio › Gratis y Open Source › Medicina › llm-as-a-verifier
✦ Gratis y open sourceMedicina

llm-as-a-verifier

Marco de evaluación detallado para puntuar, seleccionar y monitorizar las salidas de agentes de IA sin necesidad de reentrenamiento.

Verificación detallada de agentes y evaluación paso a paso

Clasifica las salidas candidatas de los agentes y supervisa el progreso de ejecución mediante modelos de puntuación basados en logprob.

Gratis para siempre · open source · MIT
✓ Light setup✓ En el navegador✓ Colaboración en tiempo real
7.8
ZEKAI
Verificador de trayectorias de agentes.
Gratis y open source · Medicina
Facilidad de configuración6
Utilidad8
Mantenimiento9.5
Comunidad7.5
★ 3,322
GITHUB
Oct 2026
ACTUALIZADO
MIT
LICENCIA
🛠 ¿No quieres alojarlo tú mismo? Podemos configurarlo →
⚡ Respuesta rápida

LLM-as-a-Verifier es un framework de Python que utiliza la puntuación de distribución de logprob para evaluar y clasificar las trayectorias de agentes de IA. Está pensado para desarrolladores que crean flujos de trabajo de agentes y necesitan escalado en tiempo de inferencia, selección de salidas y seguimiento de progreso paso a paso sin afinar nuevos modelos. Los investigadores de IA médica pueden usarlo para clasificar trayectorias de agentes clínicos en benchmarks como MedAgentBench.

Funciona en
Cross-platform
Alojamiento
Self-host
Idiomas
Python
Licencia
MIT

Qué es

La herramienta evalúa trayectorias de agentes de múltiples pasos utilizando modelos de recompensa por pares, seguimiento de progreso paso a paso y torneos de pivote probabilísticos. Calcula expectativas de puntuación detalladas a partir de los logprobs de LLM según criterios de evaluación personalizados. Puedes utilizar modelos más pequeños como DeepSeek V4.1 Flash para verificar trayectorias generadas por sistemas más grandes.

Para quién

Esta herramienta está dirigida a desarrolladores de IA e investigadores de informática médica que crean sistemas de agentes de múltiples pasos y desean una verificación automatizada en tiempo de inferencia. Es ideal para equipos que ejecutan benchmarks de agentes como MedAgentBench o SWE-Bench Verified. No está diseñada para servir como soporte de decisiones clínicas para usuarios finales sin integrarse en un flujo de trabajo de desarrollo más amplio.

Funciones clave

Torneo de Pivote Probabilístico

Clasifica N trayectorias de agentes usando comparaciones por pares reducidas en lugar de matrices de todos contra todos completas.

Puntuación de Logprob detallada

Calcula puntuaciones de expectativa sobre toda la distribución de logprob de los tokens de evaluación para la selección de candidatos.

Seguimiento del progreso en tiempo real

Monitorea las ejecuciones de los pasos de los agentes en directo con ProgressTracker para identificar ejecuciones fallidas de forma temprana.

Evaluación de criterios personalizados

Acepta diccionarios de criterios definidos por el usuario para evaluar dominios como el razonamiento clínico o las correcciones de código.

Cómo empezar

Listo en 3 pasos

1
Instala el paquete mediante pip usando 'pip install llm-verifier'.
2
Configura tus claves de API o ejecuta un servidor vLLM local que devuelva los logprobs de los tokens.
3
Llama a 'llm_verifier.select()' con tu enunciado del problema, trayectorias candidatas y criterios.
Sin rodeos

Nuestro veredicto honesto

Lo mejor

  • Clasifica las trayectorias de agentes de manera eficiente utilizando comparaciones por pares O(Nk).
  • Proporciona un seguimiento paso a paso en directo para detener anticipadamente las ejecuciones fallidas de los agentes.
  • Funciona en APIs de modelos propietarios y endpoints de vLLM autoalojados.
  • No requiere entrenamiento adicional ni ajuste fino de los modelos verificadores.

Sus límites

  • Requiere acceso a APIs de modelos externos o configuraciones de GPU locales que devuelvan logprobs de tokens.
  • Las evaluaciones repetidas de candidatos generan un consumo significativo de tokens de API o sobrecarga de cómputo.
  • Requiere programación en Python para integrar los flujos de trabajo de puntuación en las tuberías de agentes existentes.
Costo

Precios y licencia

LLM-as-a-verifier es gratuito y de código abierto bajo la licencia MIT. El coste principal proviene del uso de tokens de la API del modelo o de ejecutar tu propio servidor GPU para generar logprobs.

Trabajo remunerado

Empleos para hispanohablantes

877 puestos remotos abiertos de entrenamiento de IA, actualizados el 16 de noviembre de 2026; la mayoría paga $20–$175 por hora. 22 de ellos piden hispanohablantes. Zekai los lista gratis; la solicitud va a la plataforma del empleador.

Ver todos los puestos abiertos →
Comparar

Alternativas

🎁 Alternativas gratis y open source
Más

Úsalo, o deja que lo configuremos

📄 PDF gratis: llm-as-a-verifier para Medicina
Una guía en lenguaje claro para tu primer resultado. Enviada a tu correo.
🔔 64 personas quieren un tutorial en vídeo completo — añade tu voto
🛠 ¿No quieres configurarlo tú mismo?
Instalamos, alojamos y configuramos llm-as-a-verifier por ti — y formamos a tu equipo.
Que lo hagamos por ti ↗
Preguntas

FAQ

¿Puedo ejecutar esto con un LLM alojado localmente?

Sí, puedes conectarlo a un servidor compatible con OpenAI como vllm serve siempre que devuelva los logprobs de los tokens.

¿Cómo reduce los costes de evaluación para la selección de mejor de N?

Utiliza un torneo de pivote probabilístico para clasificar a los candidatos en comparaciones O(Nk) en lugar de comprobaciones completas O(N^2) de todos contra todos.

¿Puede un modelo más pequeño verificar la salida de un modelo más grande?

Sí, los benchmarks en el README muestran que verificadores más pequeños como DeepSeek V4.1 Flash consiguen clasificar con éxito ejecuciones de modelos más grandes como Claude Opus.

Radar

Últimas noticias de IA

✉️ El kit gratuito semanal
Las mejores nuevas herramientas gratis y open source para Medicina — un correo corto por semana, en tu idioma.
Gratis · 1 correo/semana · cancela cuando quieras
Gana dinero entrenando IA →

Ve Zekai primero en Google