भाषा मॉडल बेंचमार्क स्कोर, संदर्भ विंडो सीमा और प्रदाता मूल्य निर्धारण को मैप करने वाला एक संरचित खुला डेटासेट।
प्रदर्शन मेट्रिक्स, प्रदाता लागत और मॉडल क्षमताओं की तुलना करने वाले संरचित JSON डेटासेट तक पहुँचें।
यह रिपॉजिटरी बड़े भाषा模型的 मूल्यांकन के लिए एक संरचित JSON डेटासेट प्रदान करती है। सामग्री रणनीतिकार और विपणक लागत प्रभावी मॉडल चुनने के लिए मॉडल संदर्भ विंडो, प्रदर्शन स्कोर और API मूल्य निर्धारण का निरीक्षण कर सकते हैं। ध्यान दें कि यह प्रोजेक्ट आधिकारिक रूप से बंद कर दिया गया है और अब इसे सक्रिय अपडेट नहीं मिलते हैं।
यह स्कीमा-वैidated JSON फ़ाइलों के भीतर प्रदर्शन बेंचमार्क परिणाम (जैसे MMLU, GPQA और MATH), पैरामीटर काउंट, संदर्भ सीमा और विक्रेता मूल्य निर्धारण को एकत्रित करता है। डेटासेट मॉडल, प्रदाता और बेंचमार्क के लिए समर्पित निर्देशिकाओं में रिकॉर्ड व्यवस्थित करता है। कस्टम तुलना टूल बनाने या मॉडल दक्षता का विश्लेषण करने के लिए आप इन फ़ाइलों का सीधे निरीक्षण कर सकते हैं।
यह तकनीकी सामग्री निर्माताओं, प्रॉम्प्ट इंजीनियरों और विपणन संचालन विशेषज्ञों के अनुकूल है जिन्हें API लागत के मुकाबले मॉडल प्रदर्शन की तुलना करने के लिए कच्चे ऐतिहासिक डेटा की आवश्यकता होती है। यह उन गैर-तकनीकी उपयोगकर्ताओं के अनुकूल नहीं है जो टर्नकी SaaS प्लेटफ़ॉर्म चाहते हैं या ऐसी टीमों के लिए जिन्हें लाइव, ऑटो-अपडेटिंग बेंचमार्क फ़ीड की आवश्यकता है।
मॉडल मेटाडेटा, बेंचमार्क परिणाम और मूल्य निर्धारण विवरण स्वच्छ, स्कीमा-वैidated JSON निर्देशिकाओं में संग्रहीत हैं।
विशिष्ट भाषा मॉडल को प्रदाता मूल्य निर्धारण, संदर्भ विंडो पैरामीटर और हार्डवेयर कॉन्फ़िगरेशन से जोड़ता है।
MMLU, GPQA, HumanEval और MATH सहित स्थापित उद्योग बेंचमार्क में मॉडल स्कोर रिकॉर्ड करता है।
डेटा प्रविष्टि स्कीमा सभी सबमिट किए गए प्रदर्शन मेट्रिक्स के लिए सत्यापन योग्य उद्धरण लिंक को प्रोत्साहित करते हैं।
रिपॉजिटरी सामग्री डाउनलोड करने और निरीक्षण करने के लिए स्वतंत्र है। इसमें शामिल एकमात्र लागत आपके स्वयं के कस्टम पार्सिंग स्क्रिप्ट या वेब व्यूअर को चलाने के लिए आवश्यक समय और होस्टिंग बुनियादी ढांचा है।
879 खुले रिमोट AI-ट्रेनिंग रोल, 16 नवंबर 2026 को अपडेट; ज़्यादातर में $20–$175 प्रति घंटा। इनमें से 5 हिंदी बोलने वालों के लिए हैं। Zekai इन्हें मुफ़्त में लिस्ट करता है; आवेदन एम्प्लॉयर के प्लेटफ़ॉर्म पर जाता है।
नहीं, रिपॉजिटरी आधिकारिक रूप से पदावनत है। डेटा सुधार अब llm-stats सामुदायिक अनुभाग की ओर निर्देशित किए जाते हैं।
लंबी-फ़ॉर्म जनरेशन के लिए सही LLM चुनने के लिए आप बेंचमार्क स्कोर के मुकाबले संदर्भ विंडो आकार और मूल्य निर्धारण की तुलना कर सकते हैं।
Google में Zekai को सबसे पहले देखें