Cadre d'évaluation granulaire pour noter, sélectionner et suivre les résultats d'agents IA sans réentraînement.
Classez les résultats de candidats agents et suivez la progression de l'exécution à l'aide de modèles de score basés sur les logprobs.
llm-as-a-verifier est un framework Python qui utilise la notation par distribution de logprobs pour évaluer et classer les trajectoires d'agents IA. Il convient aux développeurs créant des workflows d'agents qui ont besoin d'une mise à l'échelle au moment du test, d'une sélection de résultats et d'un suivi de progression étape par étape sans réglage fin de nouveaux modèles. Les chercheurs en IA médicale peuvent l'utiliser pour classer des trajectoires d'agents cliniques sur des benchmarks comme MedAgentBench.
L'outil évalue les trajectoires d'agents en plusieurs étapes à l'aide de modèles de récompense par paires, d'un suivi de la progression étape par étape et de tournois pivot probabilistes. Il calcule des attentes de score granulaires à partir des logprobs de LLM sur des critères d'évaluation personnalisés. Vous pouvez utiliser des modèles plus faibles comme DeepSeek V4.1 Flash pour vérifier les trajectoires générées par des systèmes plus grands.
Cet outil convient aux développeurs IA et aux chercheurs en informatique médicale qui construisent des systèmes d'agents en plusieurs étapes et souhaitent une vérification automatisée au moment du test. Il est idéal pour les équipes exécutant des benchmarks d'agents tels que MedAgentBench ou SWE-Bench Verified. Il n'est pas conçu pour l'aide à la décision clinique des utilisateurs finaux sans intégration dans un flux de travail de développement plus large.
Classe N trajectoires d'agents en utilisant des comparaisons par paires réduites au lieu de matrices de tournoi complet.
Calcule les scores d'attente sur la distribution complète des logprobs des tokens d'évaluation pour la sélection des candidats.
Surveille l'exécution des étapes de l'agent en direct avec ProgressTracker pour identifier rapidement les exécutions échouées.
Accepte des dictionnaires de critères définis par l'utilisateur pour évaluer des domaines tels que le raisonnement clinique ou les corrections de code.
llm-as-a-verifier est gratuit et open source sous licence MIT. Le coût principal provient de l'utilisation des tokens d'API du modèle ou de l'exécution de votre propre serveur GPU pour générer des logprobs.
877 missions ouvertes à distance en entraînement d’IA, mises à jour le 16 novembre 2026 ; la plupart paient $20–$175 de l’heure. 8 d’entre elles demandent des francophones. Zekai les liste gratuitement ; la candidature se fait sur la plateforme de l’employeur.
Oui, vous pouvez le connecter à un serveur compatible OpenAI tel que vllm serve à condition qu'il renvoie les logprobs des tokens.
Il utilise un tournoi pivot probabiliste pour classer les candidats en O(Nk) comparaisons plutôt qu'en vérifications de tournoi complet O(N^2).
Oui, les benchmarks du README montrent que des vérificateurs plus petits comme DeepSeek V4.1 Flash classent avec succès les déploiements de modèles plus grands comme Claude Opus.
Voir Zekai en premier dans Google