Ferramentas de IA avaliadas para o seu trabalho
Ganhe treinando IA
🤝 Você está na biblioteca Grátis & Open Source — ferramentas feitas pela comunidade que você pode usar sem pagar. Um conceito diferente do nosso diretório de IA avaliado.
Início › Grátis & Open Source › Medicina › keystone-bench
✦ Grátis & open sourceMedicina

keystone-bench

Um benchmark de evidências de decisão clínica para avaliar assistentes de chat.

Avalie LLMs médicas com perturbação de evidências

Teste se assistentes de chat clínicos adaptam suas ações quando fatos decisivos mudam.

Grátis para sempre · open source · MIT
✓ Light setup✓ No navegador✓ Colaboração em tempo real
7.3
ZEKAI
Benchmark essencial de IA clínica
Grátis & open source · Medicina
Facilidade de configuração4
Utilidade9
Manutenção9.5
Comunidade6.5
★ 511
GITHUB
Sep 2026
ATUALIZADO
MIT
LICENÇA
🛠 Não quer hospedar você mesmo? Nós configuramos para você →
⚡ Resposta rápida

O keystone-bench avalia assistentes de chat de IA médica modificando fatos centrais em conversas de origem do HealthBench e observando se as ações do modelo acompanham as evidências. Ele foi criado para desenvolvedores e pesquisadores de IA médica que testam a segurança e a confiabilidade do raciocínio.

Funciona em
Cross-platform
Hospedagem
Self-host
Idiomas
Python
Licença
MIT

O que é

A ferramenta pega conversas do HealthBench e aplica oito famílias distintas de evidências — como evidências ausentes, conflitantes ou alternativas — juntamente com controles de paráfrase. Ela executa modelos contra essas perturbações e pontua se a ação do assistente muda adequadamente com os fatos atualizados.

Para quem

Ideal para engenheiros de IA e pesquisadores médicos que constroem assistentes de chat clínicos e precisam de avaliação rigorosa além da pontuação básica por rubrica. Não é adequado para usuários casuais ou aqueles sem acesso a API para executar inferências de modelos.

Recursos principais

Oito Famílias de Evidências

Testa modelos contra evidências ausentes, fatos conflitantes, mudanças demográficas e controles negativos.

Camada de Evidência de Decisão

Vincula cada origem a um quadro de decisão e anota ações aceitáveis ou proibidas para cada estado.

Suporte a Múltiplos Turnos

Inclui mais de 2.800 conversas de múltiplos turnos com turnos anteriores idênticos em bytes para testes complexos.

Verificações de Regressão Automatizadas

Compara duas execuções de benchmark item por item para identificar regressões exatas e correções em novas versões do modelo.

Como começar

Pronto em 3 passos

1
Instale o pacote Python do PyPI usando pip install keystone-bench.
2
Execute keystone build para buscar o HealthBench e reconstruir os dados de lançamento localmente.
3
Execute keystone run com suas chaves de API para avaliar seu modelo em relação ao benchmark.
Falando sério

Nosso veredito honesto

Pontos fortes

  • Testa mudanças reais de ação em vez de depender apenas de rubricas médicas estáticas
  • Inclui famílias de controle negativo para detectar persistência teimosa do modelo
  • Vem com resultados de referência e classificações para cinco principais assistentes
  • Fornece verificações de validação integradas para juízes e estratégias degeneradas

Onde deixa a desejar

  • Exige reconstruir os dados de lançamento localmente usando a cópia pública do HealthBench da OpenAI
  • Demanda chaves de API externas e gastos com tokens para execuções de modelos e avaliação de juízes
  • Requer um segundo modelo de fornecedor para agir como um juiz de ação independente
Custo

Preços & licença

O código é gratuito sob a licença MIT. O único custo contínuo é a sua própria infraestrutura e os gastos com tokens de API para executar inferências de modelos e avaliações de juízes de múltiplos fornecedores.

Trabalho remunerado

Vagas para quem fala português

897 vagas remotas abertas de treinamento de IA, atualizadas em 17 de novembro de 2026; a maioria paga $20–$170 por hora. 10 delas pedem falantes de português. O Zekai lista de graça; a candidatura vai para a plataforma do empregador.

Ver todas as vagas abertas →
Comparar

Alternativas

🎁 Alternativas grátis & open source

Estas ferramentas de IA avaliadas fazem o mesmo trabalho na hora — do nosso diretório avaliado.

Saiba mais

Use, ou deixe que a gente configure

📄 PDF grátis: keystone-bench para Medicina
Um guia em linguagem simples para o seu primeiro resultado. Enviado ao seu e-mail.
🔔 64 pessoas querem um tutorial em vídeo completo — adicione seu voto
🛠 Não quer configurar você mesmo?
Nós instalamos, hospedamos e configuramos o keystone-bench para você — e treinamos sua equipe.
Deixe com a gente ↗
Perguntas

FAQ

Quais fontes de dados o keystone-bench usa?

Ele se baseia na cópia pública do HealthBench da OpenAI, enriquecendo conversas com quadros de decisão e gêmeos de estado de evidência.

Por que o juiz deve vir de um fornecedor diferente?

Para evitar viés de autoavaliação, a ferramenta requer um fornecedor de modelo independente para mapear as respostas para as anotações.

Como lido com os custos de API antes de executar?

Você pode usar o comando keystone estimate para verificar as chamadas antecipadas e o uso de tokens antes de gastar qualquer coisa.

Radar

Últimas notícias de IA

✉️ O kit gratuito semanal
As melhores novas ferramentas grátis & open source para Medicina — um e-mail curto por semana, no seu idioma.
Grátis · 1 e-mail/semana · cancele quando quiser
Ganhe dinheiro treinando IA →

Veja o Zekai primeiro no Google