garak
Un scanner de vulnérabilité LLM qui sonde les hallucinations, les fuites de données et les injections de prompt.
Kit d'évaluation et de red-teaming en IA générative pour sonder les défaillances et les faiblesses des LLM.
Garak est un outil en ligne de commande qui vérifie si les grands modèles de langage échouent de manière inattendue grâce à des sondes statiques, dynamiques et adaptatives. Il est conçu pour les professionnels de la sécurité et les développeurs évaluant des déploiements d'IA générative.
Qu'est-ce que c'est
L'outil sonde les hallucinations, les fuites de données, les injections de prompt, la désinformation, la génération de toxicité et les jailbreaks. Il fonctionne de manière similaire à nmap ou Metasploit, mais est spécifiquement conçu pour explorer les faiblesses des LLM et des systèmes de dialogue.
Pour qui
Il convient aux ingénieurs de sécurité et aux praticiens de l'IA testant la robustesse des modèles avant leur déploiement en production. Il ne convient pas aux utilisateurs non techniques recherchant des interfaces Web graphiques automatisées en un clic.
Fonctionnalités clés
Sondes statiques et dynamiques
Combine plusieurs types de sondes pour explorer en profondeur les modes de défaillance des LLM.
Large prise en charge des modèles
Se connecte à Hugging Face, OpenAI API, AWS Bedrock, Replicate et à des endpoints REST personnalisés.
Flux de travail de style Metasploit
Apporte les concepts traditionnels de test d'intrusion directement dans le domaine de l'IA générative.
Opérationnel en 3 étapes
Notre verdict honnête
Ses atouts
- Se compare à nmap ou Metasploit en termes de méthodologie, ce qui le rend familier aux professionnels de la sécurité.
- Prend en charge un large éventail de fournisseurs de LLM backend, notamment Hugging Face, Bedrock et OpenAI.
- Sonde une liste complète de problèmes tels que l'injection de prompt, la toxicité et les fuites de données.
- Développement actif avec des tests multiplateformes sur Linux, Windows et macOS.
Ses limites
- Nécessite l'utilisation de l'interface en ligne de commande avec son propre ensemble spécifique de dépendances.
- L'exécution de scans approfondis sur des API commerciales peut entraîner des coûts d'utilisation de jetons importants.
- Nécessite des compétences techniques en tests de sécurité et en gestion d'environnement Python pour une configuration correcte.
Tarifs & licence
Gratuit sous sa licence open source, le seul coût financier provenant de l'exécution du logiciel et des éventuels frais d'utilisation d'API encourus lors du scan des modèles cibles.
Missions pour francophones
879 missions ouvertes à distance en entraînement d’IA, mises à jour le 15 novembre 2026 ; la plupart paient $20–$175 de l’heure. 8 d’entre elles demandent des francophones. Zekai les liste gratuitement ; la candidature se fait sur la plateforme de l’employeur.
Alternatives
Ces outils IA évalués font le même travail instantanément — depuis notre annuaire noté.
Utilisez-le, ou laissez-nous l'installer
FAQ
Que teste garak ?
Il sonde les hallucinations, les fuites de données, les injections de prompt, la désinformation, la génération de toxicité et les jailbreaks.
Quels modèles garak peut-il scanner ?
Il prend en charge les modèles Hugging Face, Replicate, OpenAI API, AWS Bedrock, LiteLLM, les modèles gguf locaux via llama.cpp et les endpoints REST généraux.
