आपके काम के लिए रेटेड एआई टूल
AI ट्रेन करके कमाएँ
🤝 आप फ्री & ओपन सोर्स लाइब्रेरी में हैं — समुदाय द्वारा बनाए गए टूल जिन्हें आप बिना भुगतान किए उपयोग कर सकते हैं। हमारी स्कोर की गई AI डायरेक्टरी से अलग एक अवधारणा।
होम › फ्री & ओपन सोर्स › चिकित्सा › llm-as-a-verifier
✦ फ्री & ओपन सोर्सचिकित्सा

llm-as-a-verifier

एआई एजेंट आउटपुट को बिना रीट्रेनिंग के स्कोर, चयन और ट्रैक करने के लिए फाइन-ग्रेनड इवैल्यूएशन फ्रेमवर्क।

फाइन-ग्रेनड एजेंट वेरिफिकेशन और स्टेप-बाय-स्टेप इवैल्यूएशन

लॉगप्रॉप-आधारित स्कोरिंग मॉडल का उपयोग करके उम्मीदवार एजेंट आउटपुट को रैंक करें और निष्पादन प्रगति की निगरानी करें।

हमेशा के लिए मुफ़्त · ओपन सोर्स · MIT
✓ Light setup✓ ब्राउज़र-आधारित✓ रियल-टाइम सहयोग
7.8
ZEKAI
एजेंट ट्रैजेक्टरी वेरिफायर।
फ्री & ओपन सोर्स · चिकित्सा
सेटअप की आसानी6
उपयोगिता8
रखरखाव9.5
समुदाय7.5
★ 3,322
गिटहब
Oct 2026
अपडेटेड
MIT
लाइसेंस
🛠 खुद होस्ट नहीं करना चाहते? हम इसे सेट कर सकते हैं →
⚡ त्वरित उत्तर

llm-as-a-verifier एक Python फ्रेमवर्क है जो AI एजेंट ट्रैजेक्टरीज का मूल्यांकन और रैंकिंग करने के लिए लॉगप्रॉप डिस्ट्रीब्यूशन स्कोरिंग का उपयोग करता है। यह एजेंटिक वर्कफ़्लो बनाने वाले डेवलपर्स के लिए उपयुक्त है जिन्हें नए मॉडल को फाइन-ट्यून किए बिना टेस्ट-टाइम स्केलिंग, आउटपुट चयन और स्टेप-बाय-स्टेप प्रगति ट्रैकिंग की आवश्यकता होती है। मेडिकल AI शोधकर्ता MedAgentBench जैसे बेंचमार्क पर क्लिनिकल एजेंट ट्रैजेक्टरीज को रैंक करने के लिए इसका उपयोग कर सकते हैं।

इस पर चलता है
Cross-platform
होस्टिंग
Self-host
भाषाएँ
Python
लाइसेंस
MIT

यह क्या है

यह टूल जोड़े में मिलने वाले रिवॉर्ड मॉडल, सिंगल-स्टेप प्रोग्रेस ट्रैकिंग और प्रोबेबिलिस्टिक पिवट टूर्नामेंट का उपयोग करके बहु-चरणीय एजेंट ट्रैजेक्टरीज का मूल्यांकन करता है। यह कस्टम मूल्यांकन मानदंडों पर LLM लॉगप्रॉप से ​​फाइन-ग्रेनड स्कोर अपेक्षाओं की गणना करता है। बड़े सिस्टम द्वारा उत्पन्न ट्रैजेक्टरीज को सत्यापित करने के लिए आप DeepSeek V4.1 Flash जैसे कमजोर मॉडल का उपयोग कर सकते हैं।

किसके लिए

यह टूल AI डेवलपर्स और मेडिकल इंफॉर्मेटिक्स शोधकर्ताओं के लिए उपयुक्त है जो मल्टी-स्टेप एजेंट सिस्टम बनाते हैं और स्वचालित टेस्ट-टाइम वेरिफिकेशन चाहते हैं। यह MedAgentBench या SWE-Bench Verified जैसे एजेंट बेंचमार्क चलाने वाली टीमों के लिए आदर्श है। इसे बड़े डेवलपर वर्कफ़्लो में एकीकृत किए बिना अंतिम-उपयोगकर्ता क्लिनिकल निर्णय समर्थन के लिए अभिप्रेत नहीं है।

मुख्य विशेषताएँ

Probabilistic Pivot Tournament

पूर्ण राउंड-रॉबिन मैट्रिक्स के बजाय घटी हुई जोड़ीदार तुलनाओं का उपयोग करके N एजेंट ट्रैजेक्टरीज को रैंक करता है।

Fine-grained Logprob Scoring

उम्मीदवार चयन के लिए मूल्यांकन टोकन के पूर्ण लॉगप्रॉप वितरण पर अपेक्षा स्कोर की गणना करता है।

Real-time Progress Tracking

विफल रनों की समय रहते पहचान करने के लिए ProgressTracker के साथ एजेंट चरण निष्पादन की लाइव निगरानी करता है।

Custom Criteria Evaluation

क्लिनिकल रीज़निंग या कोड फिक्स जैसे डोमेन का मूल्यांकन करने के लिए उपयोगकर्ता-परिभाषित मानदंडों को स्वीकार करता है।

कैसे शुरू करें

3 चरणों में तैयार

1
pip install llm-verifier' का उपयोग करके pip के माध्यम से पैकेज इंस्टॉल करें।
2
अपनी API कुंजियाँ कॉन्फ़िगर करें या स्थानीय vLLM सर्वर चलाएँ जो टोकन लॉगप्रॉप लौटाता है।
3
अपनी समस्या के विवरण, उम्मीदवार ट्रैजेक्टरीज और मानदंडों के साथ 'llm_verifier.select()' को कॉल करें।
सच कहें तो

हमारा ईमानदार फैसला

क्या अच्छा है

  • O(Nk) जोड़ीदार तुलनाओं का उपयोग करके एजेंट ट्रैजेक्टरीज को कुशलतापूर्वक रैंक करता है।
  • विफल हो रहे एजेंट रोलआउट को समय से पहले रोकने के लिए लाइव स्टेप-बाय-स्टेप ट्रैकिंग प्रदान करता है।
  • प्रोपराइट्री मॉडल API और self-host किए गए vLLM एंडपॉइंट्स पर काम करता है।
  • वेरिफ़ायर मॉडल के किसी अतिरिक्त प्रशिक्षण या फाइन-ट्यूनिंग की आवश्यकता नहीं होती है।

कहाँ कमी है

  • बाहरी मॉडल API या स्थानीय GPU सेटअप तक पहुँच की आवश्यकता होती है जो टोकन लॉगप्रॉप लौटाते हैं।
  • बार-बार उम्मीदवार मूल्यांकन से महत्वपूर्ण API टोकन उपयोग या कंप्यूट ओवरहेड होता है।
  • स्कोरिंग वर्कफ़्लो को मौजूदा एजेंट पाइपलाइनों में एकीकृत करने के लिए Python कोडिंग की आवश्यकता होती है।
लागत

मूल्य & लाइसेंस

llm-as-a-verifier MIT लाइसेंस के तहत मुफ़्त और open source है। प्राथमिक लागत मॉडल API टोकन उपयोग या लॉगप्रॉप उत्पन्न करने के लिए अपना खुद का GPU सर्वर चलाने से आती है।

पेड वर्क

हिंदी बोलने वालों के लिए जॉब्स

877 खुले रिमोट AI-ट्रेनिंग रोल, 16 नवंबर 2026 को अपडेट; ज़्यादातर में $20–$175 प्रति घंटा। इनमें से 5 हिंदी बोलने वालों के लिए हैं। Zekai इन्हें मुफ़्त में लिस्ट करता है; आवेदन एम्प्लॉयर के प्लेटफ़ॉर्म पर जाता है।

सभी खुले रोल देखें →
तुलना

विकल्प

🎁 फ्री & ओपन-सोर्स विकल्प
और पाएं

इसे उपयोग करें, या हमसे सेट करवाएं

📄 मुफ़्त PDF: चिकित्सा के लिए llm-as-a-verifier
आपका पहला परिणाम पाने के लिए सरल भाषा में गाइड। आपके इनबॉक्स में।
🔔 64 लोग पूरा वीडियो ट्यूटोरियल चाहते हैं — अपना वोट जोड़ें
🛠 खुद सेट नहीं करना चाहते?
हम llm-as-a-verifier को आपके लिए इंस्टॉल, होस्ट और कॉन्फ़िगर करेंगे — और आपकी टीम को प्रशिक्षित करेंगे।
हमसे करवाएं ↗
प्रश्न

सामान्य प्रश्न

Can I run this with a locally hosted LLM?

हाँ, आप इसे vllm serve जैसे OpenAI-संगत सर्वर से कनेक्ट कर सकते हैं बशर्ते यह टोकन लॉगप्रॉप लौटाए।

How does it reduce evaluation costs for best-of-N selection?

यह पूर्ण O(N^2) राउंड-रॉबिन जाँच के बजाय O(Nk) तुलनाओं में उम्मीदवारों को रैंक करने के लिए Probabilistic Pivot Tournament का उपयोग करता है।

Can a smaller model verify a larger model's output?

हाँ, README में बेंचमार्क से पता चलता है कि DeepSeek V4.1 Flash जैसे छोटे वेरिफ़ायर Claude Opus जैसे बड़े मॉडल से रोलआउट को सफलतापूर्वक रैंक करते हैं।

रडार

ताज़ा AI समाचार

✉️ साप्ताहिक मुफ़्त टूलकिट
चिकित्सा के लिए सर्वश्रेष्ठ नए फ्री & ओपन-सोर्स टूल — हर हफ्ते एक छोटा ईमेल, आपकी भाषा में।
मुफ़्त · 1 ईमेल/सप्ताह · कभी भी अनसब्सक्राइब करें
AI ट्रेनिंग से पैसे कमाएँ →

Google में Zekai को सबसे पहले देखें