Conjunto de dados de benchmark experimental e avaliação que avalia o desempenho do GPT-3 na análise estática de código automatizada.
Avalie o desempenho de modelos legados do GPT-3 em comparação com ferramentas comerciais tradicionais de segurança de aplicações estáticas.
Este repositório serve como um benchmark inicial avaliando a capacidade do GPT-3 de detectar falhas de segurança em trechos de código multilíngues. Você pode usá-lo para comparar a descoberta bruta de vulnerabilidades por LLM com softwares tradicionais de análise estática.
O projeto fornece uma coleção selecionada de 129 arquivos de código vulneráveis organizados por tipos de falha, como injeção de log, ataques de string de formato e estouros de buffer. Ele inclui saídas de avaliação documentadas mostrando como o text-davinci-003 detectou 213 vulnerabilidades de segurança em toda a base de código.
Analistas de segurança, pesquisadores de AppSec e desenvolvedores que constroem ferramentas de auditoria orientadas por IA acharão este repositório útil para benchmarking. Ele não é adequado para equipes de segurança que procuram um binário de scanner pronto para uso para integrar em um pipeline de CI/CD.
Organiza 129 amostras de código vulneráveis em estruturas de diretórios divididas por fraquezas de segurança específicas.
Inclui descobertas comparativas avaliando as taxas de detecção de LLM em relação a ferramentas comerciais estabelecidas de análise estática.
Fornece arquivos de código de destino realistas escritos em C, C#, Java e trechos comuns de frameworks web modernos.
Contém registros detalhados em markdown detalhando as saídas de texto exatas geradas durante a avaliação do GPT-3.
O conjunto de dados e os arquivos do repositório são de acesso gratuito. Executar varreduras de avaliação por conta própria requer o pagamento pelo consumo de tokens da API do OpenAI.
877 vagas remotas abertas de treinamento de IA, atualizadas em 16 de novembro de 2026; a maioria paga $20–$175 por hora. 8 delas pedem falantes de português. O Zekai lista de graça; a candidatura vai para a plataforma do empregador.
Estas ferramentas de IA avaliadas fazem o mesmo trabalho na hora — do nosso diretório avaliado.
Não, este repositório é um conjunto de dados de benchmark de pesquisa e um conjunto de resultados de teste documentados, em vez de um scanner de linha de comando automatizado.
Ele analisa arquivos individuais separadamente, confiando na memória de treinamento interna do modelo para reconhecer funções de biblioteca padrão.
Veja o Zekai primeiro no Google