स्वचालित स्टैटिक कोड विश्लेषण में GPT-3 के प्रदर्शन का मूल्यांकन करने वाला प्रायोगिक बेंचमार्क डेटासेट।
मूल्यांकन करें कि पारंपरिक कमर्शियल स्टैटिक एप्लीकेशन सिक्योरिटी टूल के मुकाबले लेगेसी GPT-3 मॉडल कैसा प्रदर्शन करते हैं।
यह रिपॉजिटरी बहु-भाषी कोड स्निपेट्स में सुरक्षा खामियों का पता लगाने की GPT-3 की क्षमता का मूल्यांकन करने वाले एक शुरुआती बेंचमार्क के रूप में कार्य करती है। आप पारंपरिक स्टैटिक विश्लेषण सॉफ्टवेयर के खिलाफ रॉ LLM वल्नरेबिलिटी खोज की तुलना करने के लिए इसका उपयोग कर सकते हैं।
यह प्रोजेक्ट लॉग इंजेक्शन, फॉर्मेट स्ट्रिंग अटैक और बफर ओवरफ्लो जैसी खामियों के प्रकारों द्वारा व्यवस्थित 129 असुरक्षित कोड फाइलों का एक क्यूरेटेड संग्रह प्रदान करता है। इसमें प्रलेखित मूल्यांकन आउटपुट शामिल हैं जो दिखाते हैं कि text-davinci-003 ने पूरे कोडबेस में 213 सुरक्षा वल्नरेबिलिटी का पता कैसे लगाया।
सुरक्षा विश्लेषक, AppSec शोधकर्ता, और AI-संचालित ऑडिटिंग टूल बनाने वाले डेवलपर्स को यह रिपॉजिटरी बेंचमार्किंग के लिए उपयोगी लगेगी। यह उन सुरक्षा टीमों के लिए उपयुक्त नहीं है जो CI/CD पाइपलाइन में उपयोग करने के लिए रेडीमेड स्कैनर बाइनरी की तलाश कर रहे हैं।
विशिष्ट सुरक्षा कमजोरियों द्वारा विभाजित निर्देशिका संरचनाओं में 129 असुरक्षित कोड नमूनਿਆਂ को व्यवस्थित करता है।
स्थापित कमर्शियल स्टैटिक विश्लेषण टूल के मुकाबले LLM पहचान दरों का मूल्यांकन करने वाले तुलनात्मक निष्कर्ष शामिल हैं।
C, C#, Java और सामान्य आधुनिक वेब फ्रेमवर्क स्निपेट्स में लिखे गए यथार्थवादी टारगेट कोड फाइलें प्रदान करता है।
GPT-3 मूल्यांकन के दौरान जेनरेट किए गए सटीक टेक्स्ट आउटपुट का विवरण देने वाले विस्तृत मार्कडाउन रिकॉर्ड शामिल हैं।
डेटासेट और रिपॉजिटरी फाइलें एक्सेस करने के लिए निःशुल्क हैं। स्वयं मूल्यांकन स्कैन चलाने के लिए OpenAI API टोकन खपत का भुगतान करना होगा।
879 खुले रिमोट AI-ट्रेनिंग रोल, 15 नवंबर 2026 को अपडेट; ज़्यादातर में $20–$175 प्रति घंटा। इनमें से 5 हिंदी बोलने वालों के लिए हैं। Zekai इन्हें मुफ़्त में लिस्ट करता है; आवेदन एम्प्लॉयर के प्लेटफ़ॉर्म पर जाता है।
ये समीक्षित AI टूल यही काम तुरंत करते हैं — हमारी स्कोर की गई डायरेक्टरी से।
नहीं, यह रिपॉजिटरी एक स्वचालित कमांड-लाइन स्कैनर के बजाय एक रिसर्च बेंचमार्क डेटासेट और प्रलेखित परीक्षण परिणामों का सेट है।
यह मानक लाइब्रेरी फ़ंक्शंस को पहचानने के लिए मॉडल की आंतरिक प्रशिक्षण मेमोरी पर भरोसा करते हुए व्यक्तिगत फ़ाइलों को अलग-अलग स्कैन करता है।
Google में Zekai को सबसे पहले देखें