garak
Ein LLM-Schwachstellenscanner zur Erkennung von Halluzinationen, Datenlecks und Prompt-Injection.
Generative AI Red-Teaming und Assessment Kit zum Aufspüren von LLM-Fehlern und -Schwächen.
Garak ist ein Befehlszeilentool, das überprüft, ob große Sprachmodelle auf unbeabsichtigte Weise versagen, mithilfe statischer, dynamischer und adaptiver Sonden. Es wurde für Sicherheitsexperten und Entwickler entwickelt, die generative KI-Bereitstellungen bewerten.
Was es ist
Das Tool sucht nach Halluzinationen, Datenlecks, Prompt-Injection, Fehlinformationen, der Erzeugung von Toxizität und Jailbreaks. Es funktioniert ähnlich wie nmap oder Metasploit, ist jedoch speziell darauf ausgelegt, Schwächen in LLMs und Dialogsystemen zu untersuchen.
Für wen
Es eignet sich für Sicherheitsingenieure und KI-Praktiker, die die Robustheit von Modellen vor dem Produktionseinsatz testen. Es ist nicht für nicht-technische Benutzer geeignet, die nach automatisierten, grafischen Ein-Klick-Weboberflächen suchen.
Wichtige Funktionen
Statische und dynamische Sonden
Kombiniert mehrere Sondentypen, um LLM-Fehlermodi gründlich zu untersuchen.
Breite Modellunterstützung
Verbindet sich mit Hugging Face, OpenAI API, AWS Bedrock, Replicate und benutzerdefinierten REST-Endpunkten.
Metasploit-ähnlicher Workflow
Bringt traditionelle Penetrationstesting-Konzepte direkt in den Bereich der generativen KI.
Startklar in 3 Schritten
Unser ehrliches Fazit
Stärken
- Entspricht in der Methodik nmap oder Metasploit, wodurch es für Sicherheitsexperten vertraut ist.
- Unterstützt eine Vielzahl von Backend LLM-Anbietern, einschließlich Hugging Face, Bedrock und OpenAI.
- Sucht nach einer umfassenden Liste von Problemen wie Prompt-Injection, Toxizität und Datenlecks.
- Aktive Entwicklung mit plattformübergreifenden Tests unter Linux, Windows und macOS.
Schwächen
- Erfordert die Verwendung der Befehlszeilenschnittstelle mit einem eigenen Satz spezifischer Abhängigkeiten.
- Das Ausführen umfangreicher Scans gegen kommerzielle APIs kann erhebliche Token-Nutzungskosten verursachen.
- Erfordert technische Kenntnisse im Sicherheitstesting und in der Verwaltung von Python-Umgebungen, um es richtig zu konfigurieren.
Preise & Lizenz
Kostenlos unter seiner open source Lizenz, wobei die einzigen finanziellen Kosten durch den Betrieb der Software und eventuell anfallende API-Nutzungsgebühren beim Scannen von Zielmodellen entstehen.
Stellen für Deutschsprachige
880 offene Remote-Stellen im KI-Training, aktualisiert am 15. November 2026; die meisten zahlen $20–$175 pro Stunde. 12 davon suchen Deutschsprachige. Zekai listet sie kostenlos; die Bewerbung läuft über die Plattform des Arbeitgebers.
Alternativen
Diese bewerteten KI-Tools erledigen die Aufgabe sofort — aus unserem bewerteten Verzeichnis.
Nutze es, oder lass es uns einrichten
FAQ
Worauf testet garak?
Es sucht nach Halluzinationen, Datenlecks, Prompt-Injection, Fehlinformationen, der Erzeugung von Toxizität und Jailbreaks.
Welche Modelle kann garak scannen?
Es unterstützt Hugging Face-Modelle, Replicate, OpenAI API, AWS Bedrock, LiteLLM, lokale gguf-Modelle über llama.cpp und allgemeine REST-Endpunkte.
