Экспериментальный набор бенчмарков и оценок для анализа производительности GPT-3 в автоматизированном статическом анализе кода.
Оцените, как устаревшие модели GPT-3 справляются по сравнению с традиционными коммерческими инструментами статического анализа безопасности.
Этот репозиторий представляет собой ранний бенчмарк, оценивающий способность GPT-3 обнаруживать уязвимости в безопасности в многоязычных фрагментах кода. Вы можете использовать его для сравнения обнаружения уязвимостей с помощью LLM и традиционного ПО для статического анализа.
Проект содержит тщательно отобранную коллекцию из 129 уязвимых файлов кода, организованных по типам ошибок, таким как внедрение логов (log injection), атаки с форматированием строк и переполнения буфера. Он включает документированные результаты оценки, показывающие, как text-davinci-003 обнаружила 213 уязвимостей безопасности в кодовой базе.
Специалисты по безопасности, исследователи в области AppSec и разработчики, создающие инструменты аудита на базе ИИ, найдут этот репозиторий полезным для бенчмаркинга. Он не подходит для команд безопасности, ищущих готовый бинарный файл сканера для интеграции в CI/CD пайплайн.
Организует 129 уязвимых примеров кода в структуры каталогов, разделенные по конкретным уязвимостям безопасности.
Включает сравнительные выводы, оценивающие показатели обнаружения LLM по сравнению с установленными коммерческими инструментами статического анализа.
Предоставляет реалистичные целевые файлы кода, написанные на C, C#, Java и фрагментах распространенных современных веб-фреймворков.
Содержит подробные записи в формате markdown с указанием точных текстовых результатов, сгенерированных во время оценки GPT-3.
Доступ к набору данных и файлам репозитория бесплатный. Самостоятельный запуск оценочных сканирований требует оплаты токенов OpenAI API.
879 открытых удалённых вакансий по обучению ИИ, обновлено 15 ноября 2026 г.; в большинстве оплата $20–$175 в час. Из них 2 — для носителей русского языка. Zekai публикует их бесплатно; отклик уходит на платформу работодателя.
Эти проверенные ИИ-инструменты делают то же самое мгновенно — из нашего оценённого каталога.
Нет, этот репозиторий представляет собой набор данных исследовательского бенчмарка и задокументированные результаты тестов, а не автоматизированный сканер командной строки.
Он сканирует отдельные файлы по отдельности, полагаясь на внутреннюю память обучения модели для распознавания функций стандартной библиотеки.
Zekai первым в Google