एआई एजेंट आउटपुट को बिना रीट्रेनिंग के स्कोर, चयन और ट्रैक करने के लिए फाइन-ग्रेनड इवैल्यूएशन फ्रेमवर्क।
लॉगप्रॉप-आधारित स्कोरिंग मॉडल का उपयोग करके उम्मीदवार एजेंट आउटपुट को रैंक करें और निष्पादन प्रगति की निगरानी करें।
llm-as-a-verifier एक Python फ्रेमवर्क है जो AI एजेंट ट्रैजेक्टरीज का मूल्यांकन और रैंकिंग करने के लिए लॉगप्रॉप डिस्ट्रीब्यूशन स्कोरिंग का उपयोग करता है। यह एजेंटिक वर्कफ़्लो बनाने वाले डेवलपर्स के लिए उपयुक्त है जिन्हें नए मॉडल को फाइन-ट्यून किए बिना टेस्ट-टाइम स्केलिंग, आउटपुट चयन और स्टेप-बाय-स्टेप प्रगति ट्रैकिंग की आवश्यकता होती है। मेडिकल AI शोधकर्ता MedAgentBench जैसे बेंचमार्क पर क्लिनिकल एजेंट ट्रैजेक्टरीज को रैंक करने के लिए इसका उपयोग कर सकते हैं।
यह टूल जोड़े में मिलने वाले रिवॉर्ड मॉडल, सिंगल-स्टेप प्रोग्रेस ट्रैकिंग और प्रोबेबिलिस्टिक पिवट टूर्नामेंट का उपयोग करके बहु-चरणीय एजेंट ट्रैजेक्टरीज का मूल्यांकन करता है। यह कस्टम मूल्यांकन मानदंडों पर LLM लॉगप्रॉप से फाइन-ग्रेनड स्कोर अपेक्षाओं की गणना करता है। बड़े सिस्टम द्वारा उत्पन्न ट्रैजेक्टरीज को सत्यापित करने के लिए आप DeepSeek V4.1 Flash जैसे कमजोर मॉडल का उपयोग कर सकते हैं।
यह टूल AI डेवलपर्स और मेडिकल इंफॉर्मेटिक्स शोधकर्ताओं के लिए उपयुक्त है जो मल्टी-स्टेप एजेंट सिस्टम बनाते हैं और स्वचालित टेस्ट-टाइम वेरिफिकेशन चाहते हैं। यह MedAgentBench या SWE-Bench Verified जैसे एजेंट बेंचमार्क चलाने वाली टीमों के लिए आदर्श है। इसे बड़े डेवलपर वर्कफ़्लो में एकीकृत किए बिना अंतिम-उपयोगकर्ता क्लिनिकल निर्णय समर्थन के लिए अभिप्रेत नहीं है।
पूर्ण राउंड-रॉबिन मैट्रिक्स के बजाय घटी हुई जोड़ीदार तुलनाओं का उपयोग करके N एजेंट ट्रैजेक्टरीज को रैंक करता है।
उम्मीदवार चयन के लिए मूल्यांकन टोकन के पूर्ण लॉगप्रॉप वितरण पर अपेक्षा स्कोर की गणना करता है।
विफल रनों की समय रहते पहचान करने के लिए ProgressTracker के साथ एजेंट चरण निष्पादन की लाइव निगरानी करता है।
क्लिनिकल रीज़निंग या कोड फिक्स जैसे डोमेन का मूल्यांकन करने के लिए उपयोगकर्ता-परिभाषित मानदंडों को स्वीकार करता है।
llm-as-a-verifier MIT लाइसेंस के तहत मुफ़्त और open source है। प्राथमिक लागत मॉडल API टोकन उपयोग या लॉगप्रॉप उत्पन्न करने के लिए अपना खुद का GPU सर्वर चलाने से आती है।
877 खुले रिमोट AI-ट्रेनिंग रोल, 16 नवंबर 2026 को अपडेट; ज़्यादातर में $20–$175 प्रति घंटा। इनमें से 5 हिंदी बोलने वालों के लिए हैं। Zekai इन्हें मुफ़्त में लिस्ट करता है; आवेदन एम्प्लॉयर के प्लेटफ़ॉर्म पर जाता है।
हाँ, आप इसे vllm serve जैसे OpenAI-संगत सर्वर से कनेक्ट कर सकते हैं बशर्ते यह टोकन लॉगप्रॉप लौटाए।
यह पूर्ण O(N^2) राउंड-रॉबिन जाँच के बजाय O(Nk) तुलनाओं में उम्मीदवारों को रैंक करने के लिए Probabilistic Pivot Tournament का उपयोग करता है।
हाँ, README में बेंचमार्क से पता चलता है कि DeepSeek V4.1 Flash जैसे छोटे वेरिफ़ायर Claude Opus जैसे बड़े मॉडल से रोलआउट को सफलतापूर्वक रैंक करते हैं।
Google में Zekai को सबसे पहले देखें