Braintrust — IA pour le Développement Logiciel

Braintrust s'adresse aux équipes déployant des fonctionnalités LLM qui recherchent un espace unique pour le traçage, les évaluations et l'itération des prompts. La fonction Observe permet d'inspecter les prompts, les réponses et les appels d'outils, de rechercher dans les journaux et de suivre la latence, le coût et la qualité. La fonction Evaluate exécute des expériences sur des jeux de données versionnés, compare les prompts et les modèles côte à côte, et attribue des scores à l'aide de LLMs, de code ou d'humains. Une trace peut être ajoutée à un jeu de données en un seul clic, transformant ainsi un incident de production en test de régression. Patterns fait remonter automatiquement les problèmes récurrents à travers les traces, et Loop est un agent qui génère de meilleurs prompts, évaluateurs et jeux de données. La plateforme est agnostique en matière de frameworks, avec des SDK natifs pour Python, TypeScript, Go, Ruby et C#, un serveur MCP pour les agents de codage, et une documentation répertoriant 90 intégrations telles qu'OpenAI, Anthropic, LangChain, LlamaIndex, CrewAI et OpenTelemetry. La tarification est basée sur l'utilisation. La formule Starter est à $0/mois avec 1 Go de données traitées, 10k scores et une rétention de 14 jours, et la formule Pro est à $249/mois avec 5 Go, 50k scores et une rétention de 30 jours. Le dépassement est facturé par Go et par 1 000 scores, de sorte qu'un traçage intensif augmente les coûts. Une rétention plus longue, le SSO SAML, le RBAC personnalisé et un SLA de disponibilité ne sont pas inclus dans Starter ou Pro.