Um benchmark de evidências de decisão clínica para avaliar assistentes de chat.
Teste se assistentes de chat clínicos adaptam suas ações quando fatos decisivos mudam.
O keystone-bench avalia assistentes de chat de IA médica modificando fatos centrais em conversas de origem do HealthBench e observando se as ações do modelo acompanham as evidências. Ele foi criado para desenvolvedores e pesquisadores de IA médica que testam a segurança e a confiabilidade do raciocínio.
A ferramenta pega conversas do HealthBench e aplica oito famílias distintas de evidências — como evidências ausentes, conflitantes ou alternativas — juntamente com controles de paráfrase. Ela executa modelos contra essas perturbações e pontua se a ação do assistente muda adequadamente com os fatos atualizados.
Ideal para engenheiros de IA e pesquisadores médicos que constroem assistentes de chat clínicos e precisam de avaliação rigorosa além da pontuação básica por rubrica. Não é adequado para usuários casuais ou aqueles sem acesso a API para executar inferências de modelos.
Testa modelos contra evidências ausentes, fatos conflitantes, mudanças demográficas e controles negativos.
Vincula cada origem a um quadro de decisão e anota ações aceitáveis ou proibidas para cada estado.
Inclui mais de 2.800 conversas de múltiplos turnos com turnos anteriores idênticos em bytes para testes complexos.
Compara duas execuções de benchmark item por item para identificar regressões exatas e correções em novas versões do modelo.
O código é gratuito sob a licença MIT. O único custo contínuo é a sua própria infraestrutura e os gastos com tokens de API para executar inferências de modelos e avaliações de juízes de múltiplos fornecedores.
897 vagas remotas abertas de treinamento de IA, atualizadas em 17 de novembro de 2026; a maioria paga $20–$170 por hora. 10 delas pedem falantes de português. O Zekai lista de graça; a candidatura vai para a plataforma do empregador.
Estas ferramentas de IA avaliadas fazem o mesmo trabalho na hora — do nosso diretório avaliado.
Ele se baseia na cópia pública do HealthBench da OpenAI, enriquecendo conversas com quadros de decisão e gêmeos de estado de evidência.
Para evitar viés de autoavaliação, a ferramenta requer um fornecedor de modelo independente para mapear as respostas para as anotações.
Você pode usar o comando keystone estimate para verificar as chamadas antecipadas e o uso de tokens antes de gastar qualquer coisa.
Veja o Zekai primeiro no Google