Un banc d'essai de preuves de décision clinique pour l'évaluation des assistants de discussion.
Testez si les assistants cliniques de discussion adaptent leurs actions lorsque des faits décisifs changent.
Keystone-bench évalue les assistants de discussion en IA médicale en modifiant les faits principaux dans les conversations sources de HealthBench et en observant si les actions du modèle suivent les preuves. Il est conçu pour les développeurs et chercheurs en IA médicale qui testent la sécurité et la fiabilité du raisonnement.
L'outil prend les conversations HealthBench et applique huit familles de preuves distinctes — telles que des preuves manquantes, contradictoires ou alternatives — ainsi que des contrôles de paraphrase. Il exécute les modèles face à ces perturbations et note si l'action de l'assistant change de manière appropriée avec les faits mis à jour.
Convient aux ingénieurs en IA et aux chercheurs médicaux qui construisent des assistants cliniques de discussion et ont besoin d'une évaluation rigoureuse au-delà d'une simple notation par grille. Ne convient pas aux utilisateurs occasionnels ou à ceux qui n'ont pas d'accès API pour exécuter les inférences du modèle.
Teste les modèles face à des preuves manquantes, des faits contradictoires, des changements démographiques et des contrôles négatifs.
Lie chaque source à un cadre de décision et annote les actions acceptables ou interdites pour chaque état.
Comprend plus de 2 800 conversations multi-tours avec des tours précédents identiques octet par octet pour des tests complexes.
Compare deux exécutions du banc d'essai élément par élément pour identifier précisément les régressions et les corrections dans les nouvelles versions du modèle.
Le code est gratuit sous licence MIT. Le seul coût continu est votre propre infrastructure et vos dépenses en jetons d'API pour exécuter les inférences du modèle et les évaluations par des juges multi-fournisseurs.
880 missions ouvertes à distance en entraînement d’IA, mises à jour le 16 novembre 2026 ; la plupart paient $20–$175 de l’heure. 7 d’entre elles demandent des francophones. Zekai les liste gratuitement ; la candidature se fait sur la plateforme de l’employeur.
Ces outils IA évalués font le même travail instantanément — depuis notre annuaire noté.
Il s'appuie sur la copie publique de HealthBench d'OpenAI, en enrichissant les conversations avec des cadres de décision et des jumeaux d'état de preuve.
Pour éviter le biais d'auto-évaluation, l'outil nécessite un fournisseur de modèle indépendant pour mapper les réponses aux annotations.
Vous pouvez utiliser la commande keystone estimate pour vérifier les appels prévus et l'utilisation des jetons avant de dépenser quoi que ce soit.
Voir Zekai en premier dans Google