Des outils IA notés pour votre métier
Missions IA payées
🤝 Vous êtes dans la bibliothèque Libre & Open Source — des outils communautaires utilisables sans payer. Un concept différent de notre annuaire IA noté.
Accueil › Libre & Open Source › Médecine › llm-as-a-verifier
✦ Libre & open sourceMédecine

llm-as-a-verifier

Cadre d'évaluation granulaire pour noter, sélectionner et suivre les résultats d'agents IA sans réentraînement.

Vérification granulaire d'agents et évaluation étape par étape

Classez les résultats de candidats agents et suivez la progression de l'exécution à l'aide de modèles de score basés sur les logprobs.

Gratuit pour toujours · open source · MIT
✓ Light setup✓ Dans le navigateur✓ Collaboration en temps réel
7.8
ZEKAI
Vérificateur de trajectoire d'agent.
Libre & open source · Médecine
Facilité d'installation6
Utilité8
Maintenance9.5
Communauté7.5
★ 3,322
GITHUB
Oct 2026
MIS À JOUR
MIT
LICENCE
🛠 Pas envie de l'héberger vous-même ? Nous pouvons l'installer →
⚡ Réponse rapide

llm-as-a-verifier est un framework Python qui utilise la notation par distribution de logprobs pour évaluer et classer les trajectoires d'agents IA. Il convient aux développeurs créant des workflows d'agents qui ont besoin d'une mise à l'échelle au moment du test, d'une sélection de résultats et d'un suivi de progression étape par étape sans réglage fin de nouveaux modèles. Les chercheurs en IA médicale peuvent l'utiliser pour classer des trajectoires d'agents cliniques sur des benchmarks comme MedAgentBench.

Fonctionne sur
Cross-platform
Hébergement
Self-host
Langues
Python
Licence
MIT

Qu'est-ce que c'est

L'outil évalue les trajectoires d'agents en plusieurs étapes à l'aide de modèles de récompense par paires, d'un suivi de la progression étape par étape et de tournois pivot probabilistes. Il calcule des attentes de score granulaires à partir des logprobs de LLM sur des critères d'évaluation personnalisés. Vous pouvez utiliser des modèles plus faibles comme DeepSeek V4.1 Flash pour vérifier les trajectoires générées par des systèmes plus grands.

Pour qui

Cet outil convient aux développeurs IA et aux chercheurs en informatique médicale qui construisent des systèmes d'agents en plusieurs étapes et souhaitent une vérification automatisée au moment du test. Il est idéal pour les équipes exécutant des benchmarks d'agents tels que MedAgentBench ou SWE-Bench Verified. Il n'est pas conçu pour l'aide à la décision clinique des utilisateurs finaux sans intégration dans un flux de travail de développement plus large.

Fonctionnalités clés

Tournoi pivot probabiliste

Classe N trajectoires d'agents en utilisant des comparaisons par paires réduites au lieu de matrices de tournoi complet.

Notation par logprob granulaire

Calcule les scores d'attente sur la distribution complète des logprobs des tokens d'évaluation pour la sélection des candidats.

Suivi de progression en temps réel

Surveille l'exécution des étapes de l'agent en direct avec ProgressTracker pour identifier rapidement les exécutions échouées.

Évaluation de critères personnalisés

Accepte des dictionnaires de critères définis par l'utilisateur pour évaluer des domaines tels que le raisonnement clinique ou les corrections de code.

Comment démarrer

Opérationnel en 3 étapes

1
Installez le package via pip en utilisant 'pip install llm-verifier'.
2
Configurez vos clés API ou exécutez un serveur vLLM local qui renvoie les logprobs des tokens.
3
Appelez 'llm_verifier.select()' avec votre énoncé de problème, vos trajectoires candidates et vos critères.
Franchement

Notre verdict honnête

Ses atouts

  • Classe les trajectoires d'agents efficacement en utilisant des comparaisons par paires O(Nk).
  • Fournit un suivi en direct étape par étape pour interrompre prématurément les déploiements d'agents en échec.
  • Fonctionne sur les API de modèles propriétaires et les endpoints vLLM auto-hébergés.
  • Ne nécessite aucun entraînement supplémentaire ou réglage fin des modèles de vérification.

Ses limites

  • Nécessite un accès à des API de modèles externes ou à des configurations GPU locales qui renvoient des logprobs de tokens.
  • Les évaluations répétées de candidats entraînent une utilisation importante de tokens d'API ou une surcharge de calcul.
  • Nécessite du code Python pour intégrer les flux de travail de notation dans les pipelines d'agents existants.
Coût

Tarifs & licence

llm-as-a-verifier est gratuit et open source sous licence MIT. Le coût principal provient de l'utilisation des tokens d'API du modèle ou de l'exécution de votre propre serveur GPU pour générer des logprobs.

Travail rémunéré

Missions pour francophones

877 missions ouvertes à distance en entraînement d’IA, mises à jour le 16 novembre 2026 ; la plupart paient $20–$175 de l’heure. 8 d’entre elles demandent des francophones. Zekai les liste gratuitement ; la candidature se fait sur la plateforme de l’employeur.

Voir tous les postes ouverts →
Comparer

Alternatives

🎁 Alternatives libres & open source
Pour aller plus loin

Utilisez-le, ou laissez-nous l'installer

📄 PDF gratuit : llm-as-a-verifier pour Médecine
Un guide simple pour obtenir votre premier résultat. Envoyé dans votre boîte mail.
🔔 64 personnes veulent un tutoriel vidéo complet — ajoutez votre vote
🛠 Pas envie de l'installer vous-même ?
Nous installons, hébergeons et configurons llm-as-a-verifier pour vous — et formons votre équipe.
Confiez-nous l'installation ↗
Questions

FAQ

Puis-je exécuter ceci avec un LLM hébergé localement ?

Oui, vous pouvez le connecter à un serveur compatible OpenAI tel que vllm serve à condition qu'il renvoie les logprobs des tokens.

Comment cela réduit-il les coûts d'évaluation pour la sélection best-of-N ?

Il utilise un tournoi pivot probabiliste pour classer les candidats en O(Nk) comparaisons plutôt qu'en vérifications de tournoi complet O(N^2).

Un modèle plus petit peut-il vérifier la sortie d'un modèle plus grand ?

Oui, les benchmarks du README montrent que des vérificateurs plus petits comme DeepSeek V4.1 Flash classent avec succès les déploiements de modèles plus grands comme Claude Opus.

Radar

Dernières actus IA

✉️ La boîte à outils gratuite hebdo
Les meilleurs nouveaux outils libres & open source pour Médecine — un court e-mail par semaine, dans votre langue.
Gratuit · 1 e-mail/semaine · désabonnement à tout moment
Soyez payé pour entraîner l’IA →

Voir Zekai en premier dans Google