Des outils IA notés pour votre métier
Missions IA payées
🤝 Vous êtes dans la bibliothèque Libre & Open Source — des outils communautaires utilisables sans payer. Un concept différent de notre annuaire IA noté.
Accueil › Libre & Open Source › Médecine › keystone-bench
✦ Libre & open sourceMédecine

keystone-bench

Un banc d'essai de preuves de décision clinique pour l'évaluation des assistants de discussion.

Évaluez les LLM médicaux avec la perturbation des preuves

Testez si les assistants cliniques de discussion adaptent leurs actions lorsque des faits décisifs changent.

Gratuit pour toujours · open source · MIT
✓ Light setup✓ Dans le navigateur✓ Collaboration en temps réel
7.3
ZEKAI
Banc d'essai essentiel pour l'IA clinique
Libre & open source · Médecine
Facilité d'installation4
Utilité9
Maintenance9.5
Communauté6.5
★ 511
GITHUB
Sep 2026
MIS À JOUR
MIT
LICENCE
🛠 Pas envie de l'héberger vous-même ? Nous pouvons l'installer →
⚡ Réponse rapide

Keystone-bench évalue les assistants de discussion en IA médicale en modifiant les faits principaux dans les conversations sources de HealthBench et en observant si les actions du modèle suivent les preuves. Il est conçu pour les développeurs et chercheurs en IA médicale qui testent la sécurité et la fiabilité du raisonnement.

Fonctionne sur
Cross-platform
Hébergement
Self-host
Langues
Python
Licence
MIT

Qu'est-ce que c'est

L'outil prend les conversations HealthBench et applique huit familles de preuves distinctes — telles que des preuves manquantes, contradictoires ou alternatives — ainsi que des contrôles de paraphrase. Il exécute les modèles face à ces perturbations et note si l'action de l'assistant change de manière appropriée avec les faits mis à jour.

Pour qui

Convient aux ingénieurs en IA et aux chercheurs médicaux qui construisent des assistants cliniques de discussion et ont besoin d'une évaluation rigoureuse au-delà d'une simple notation par grille. Ne convient pas aux utilisateurs occasionnels ou à ceux qui n'ont pas d'accès API pour exécuter les inférences du modèle.

Fonctionnalités clés

Huit familles de preuves

Teste les modèles face à des preuves manquantes, des faits contradictoires, des changements démographiques et des contrôles négatifs.

Couche de preuves de décision

Lie chaque source à un cadre de décision et annote les actions acceptables ou interdites pour chaque état.

Prise en charge multi-tour

Comprend plus de 2 800 conversations multi-tours avec des tours précédents identiques octet par octet pour des tests complexes.

Contrôles de régression automatisés

Compare deux exécutions du banc d'essai élément par élément pour identifier précisément les régressions et les corrections dans les nouvelles versions du modèle.

Comment démarrer

Opérationnel en 3 étapes

1
Installez le package Python depuis PyPI en utilisant pip install keystone-bench.
2
Exécutez keystone build pour récupérer HealthBench et reconstruire localement les données de version.
3
Exécutez keystone run avec vos clés d'API pour évaluer votre modèle par rapport au banc d'essai.
Franchement

Notre verdict honnête

Ses atouts

  • Teste les changements d'action réels plutôt que de s'appuyer uniquement sur des grilles statiques de médecins
  • Comprend des familles de contrôle négatif pour détecter la persistance obstinée du modèle
  • Livré avec des résultats de référence et des classifications pour cinq assistants majeurs
  • Fournit des contrôles de validation intégrés pour les juges et les stratégies dégénérées

Ses limites

  • Nécessite de reconstruire localement les données de version en utilisant la copie publique de HealthBench d'OpenAI
  • Exige des clés d'API externes et des dépenses en jetons pour les exécutions du modèle et l'évaluation par le juge
  • Nécessite un second modèle fournisseur pour agir en tant que juge d'action indépendant
Coût

Tarifs & licence

Le code est gratuit sous licence MIT. Le seul coût continu est votre propre infrastructure et vos dépenses en jetons d'API pour exécuter les inférences du modèle et les évaluations par des juges multi-fournisseurs.

Travail rémunéré

Missions pour francophones

880 missions ouvertes à distance en entraînement d’IA, mises à jour le 16 novembre 2026 ; la plupart paient $20–$175 de l’heure. 7 d’entre elles demandent des francophones. Zekai les liste gratuitement ; la candidature se fait sur la plateforme de l’employeur.

Voir tous les postes ouverts →
Comparer

Alternatives

🎁 Alternatives libres & open source

Ces outils IA évalués font le même travail instantanément — depuis notre annuaire noté.

Pour aller plus loin

Utilisez-le, ou laissez-nous l'installer

📄 PDF gratuit : keystone-bench pour Médecine
Un guide simple pour obtenir votre premier résultat. Envoyé dans votre boîte mail.
🔔 64 personnes veulent un tutoriel vidéo complet — ajoutez votre vote
🛠 Pas envie de l'installer vous-même ?
Nous installons, hébergeons et configurons keystone-bench pour vous — et formons votre équipe.
Confiez-nous l'installation ↗
Questions

FAQ

Quelles sources de données keystone-bench utilise-t-il ?

Il s'appuie sur la copie publique de HealthBench d'OpenAI, en enrichissant les conversations avec des cadres de décision et des jumeaux d'état de preuve.

Pourquoi le juge doit-il provenir d'un autre fournisseur ?

Pour éviter le biais d'auto-évaluation, l'outil nécessite un fournisseur de modèle indépendant pour mapper les réponses aux annotations.

Comment gérer les coûts d'API avant l'exécution ?

Vous pouvez utiliser la commande keystone estimate pour vérifier les appels prévus et l'utilisation des jetons avant de dépenser quoi que ce soit.

Radar

Dernières actus IA

✉️ La boîte à outils gratuite hebdo
Les meilleurs nouveaux outils libres & open source pour Médecine — un court e-mail par semaine, dans votre langue.
Gratuit · 1 e-mail/semaine · désabonnement à tout moment
Soyez payé pour entraîner l’IA →

Voir Zekai en premier dans Google