Experimenteller Benchmark-Datensatz und Evaluierung zur Bewertung der Leistung von GPT-3 bei der automatisierten statischen Code-Analyse.
Bewerten Sie, wie ältere GPT-3-Modelle im Vergleich zu herkömmlichen kommerziellen Tools für statische Anwendungssicherheit abschneiden.
Dieses Repository dient als frühes Benchmark zur Bewertung der Fähigkeit von GPT-3, Sicherheitslücken in mehrsprachigen Code-Snippets zu erkennen. Sie können es verwenden, um die rohe LLM-Schwachstellenentdeckung mit herkömmlicher Software für statische Analyse zu vergleichen.
Das Projekt bietet eine kuratierte Sammlung von 129 anfälligen Code-Dateien, sortiert nach Schwachstellentypen wie Log-Injection, Format-String-Angriffen und Pufferüberläufen. Es enthält dokumentierte Evaluierungsergebnisse, die zeigen, wie text-davinci-003 213 Sicherheitslücken in der Codebasis erkannt hat.
Sicherheitsanalysten, AppSec-Forscher und Entwickler, die KI-gestützte Audit-Tools entwickeln, werden dieses Repository für Benchmarking nützlich finden. Es ist nicht geeignet für Sicherheitsteams, die einen sofort einsatzbereiten Scanner-Binärfile für eine CI/CD-Pipeline suchen.
Organisiert 129 anfällige Code-Beispiele in Verzeichnisstrukturen, die nach spezifischen Sicherheitsschwächen unterteilt sind.
Enthält vergleichende Ergebnisse zur Bewertung der LLM-Erkennungsraten im Vergleich zu etablierten kommerziellen statischen Analyse-Tools.
Bietet realistische Zielcode-Dateien, geschrieben in C, C#, Java und gängigen modernen Web-Framework-Snippets.
Enthält detaillierte Markdown-Aufzeichnungen, die die genauen Text-Outputs detaillieren, die während der GPT-3-Evaluierung generiert wurden.
Der Zugriff auf den Datensatz und die Repository-Dateien ist kostenlos. Das selbstständige Durchführen von Evaluierungs-Scans erfordert die Bezahlung des OpenAI API-Token-Verbrauchs.
879 offene Remote-Stellen im KI-Training, aktualisiert am 15. November 2026; die meisten zahlen $20–$175 pro Stunde. 12 davon suchen Deutschsprachige. Zekai listet sie kostenlos; die Bewerbung läuft über die Plattform des Arbeitgebers.
Diese bewerteten KI-Tools erledigen die Aufgabe sofort — aus unserem bewerteten Verzeichnis.
Nein, dieses Repository ist ein Forschungs-Benchmark-Datensatz und eine Sammlung dokumentierter Testergebnisse anstelle eines automatisierten Kommandozeilen-Scanners.
Es scannt einzelne Dateien separat und verlässt sich auf den internen Trainingsspeicher des Modells, um Standardbibliotheksfunktionen zu erkennen.
Zekai zuerst in Google sehen