Jeu de données de benchmark expérimental et évaluation de la performance de GPT-3 dans l'analyse de code statique automatisée.
Évaluez les performances des anciens modèles GPT-3 par rapport aux outils commerciaux traditionnels de sécurité des applications statiques.
Ce dépôt sert de premier benchmark évaluant la capacité de GPT-3 à détecter des failles de sécurité dans des extraits de code multilingues. Vous pouvez l'utiliser pour comparer la découverte brute de vulnérabilités par les LLM aux logiciels d'analyse statique traditionnels.
Le projet propose une collection organisée de 129 fichiers de code vulnérables classés par types de failles telles que l'injection de journaux (log injection), les attaques par format de chaîne et les dépassements de mémoire tampon (buffer overflows). Il comprend des résultats d'évaluation documentés montrant comment text-davinci-003 a détecté 213 vulnérabilités de sécurité dans la base de code.
Les analystes de sécurité, les chercheurs en AppSec et les développeurs créant des outils d'audit pilotés par l'IA trouveront ce dépôt utile pour le benchmarking. Il ne convient pas aux équipes de sécurité recherchant un binaire de scanner prêt à l'emploi à intégrer dans un pipeline CI/CD.
Organise 129 échantillons de code vulnérables dans des structures de répertoires divisées par faiblesses de sécurité spécifiques.
Comprend des conclusions comparatives évaluant les taux de détection des LLM par rapport aux outils d'analyse statique commerciaux établis.
Fournit des fichiers de code cibles réalistes écrits en C, C#, Java et des extraits de frameworks web modernes courants.
Contient des enregistrements markdown détaillés détaillant les sorties textuelles exactes générées lors de l'évaluation de GPT-3.
Le jeu de données et les fichiers du dépôt sont en accès libre. L'exécution de scans d'évaluation par vous-même nécessite de payer pour la consommation de jetons (tokens) de l'API OpenAI.
879 missions ouvertes à distance en entraînement d’IA, mises à jour le 15 novembre 2026 ; la plupart paient $20–$175 de l’heure. 8 d’entre elles demandent des francophones. Zekai les liste gratuitement ; la candidature se fait sur la plateforme de l’employeur.
Ces outils IA évalués font le même travail instantanément — depuis notre annuaire noté.
Non, ce dépôt est un jeu de données de benchmark de recherche et un ensemble de résultats de tests documentés plutôt qu'un scanner automatisé en ligne de commande (CLI).
Il analyse les fichiers individuels séparément, s'appuyant sur la mémoire d'entraînement interne du modèle pour reconnaître les fonctions de bibliothèque standard.
Voir Zekai en premier dans Google