sumeval
पाइथन में ROUGE और BLEU के साथ टेक्स्ट समराइजेशन मॉडल का मूल्यांकन करें।
ROUGE और BLEU मेट्रिक्स के लिए बहु-भाषा मूल्यांकन फ्रेमवर्क।
sumeval टेक्स्ट समराइजेशन मॉडल के लिए डिज़ाइन किया गया एक शुद्ध पाइथन मूल्यांकन फ्रेमवर्क है। यह ROUGE और BLEU मेट्रिक्स के अच्छी तरह से परखे हुए कार्यान्वयन प्रदान करता है, जो इसे बीमा क्षेत्र में भाषा मॉडल बनाने वाले डेटा वैज्ञानिकों और डेवलपर्स के लिए उपयुक्त बनाता है।
यह क्या है
यह टूल पर्ल ROUGE-1.5.5.pl और SacréBLEU जैसी आधिकारिक स्क्रिप्ट से मेल खाते हुए ROUGE-1, ROUGE-2, ROUGE-L, ROUGE-BE और BLEU स्कोर की गणना करता है। यह भाषा-विशिष्ट टोकनाइजर्स और निर्भरताओं के साथ अंग्रेजी, जापानी और चीनी का समर्थन करता है।
किसके लिए
यह पॉलिसी दस्तावेज़ों या दावों के लिए टेक्स्ट समराइजेशन सिस्टम बनाने या उनका ऑडिट करने वाले पाइथन डेवलपर्स और ML इंजीनियरों के लिए उपयुक्त है। यह प्रबंधित SaaS प्लेटफॉर्म की तलाश करने वाली टीमों या गैर-प्रोगामर्स के लिए उपयुक्त नहीं है।
मुख्य विशेषताएँ
बहु-भाषा समर्थन
भाषा-विशिष्ट टोकनाइजेशन के साथ अंग्रेजी, जापानी और चीनी टेक्स्ट के लिए स्कोर की गणना करें।
आधिकारिक मेट्रिक समानता
ROUGE स्कोर का मूल Perl स्क्रिप्ट के विरुद्ध परीक्षण किया जाता है और BLEU SacréBLEU का उपयोग करता है।
Command Line Interface
JSON आउटपुट फॉर्मेटिंग के साथ सीधे command line से मूल्यांकन चलाएं।
ROUGE-BE समर्थन
गहरे सिमेंटिक मूल्यांकन के लिए spaCy का उपयोग करके ROUGE-BE स्कोर की गणना करें।
3 चरणों में तैयार
हमारा ईमानदार फैसला
क्या अच्छा है
- शुद्ध पाइथन कार्यान्वयन जिसे मौजूदा पाइपलाइनों में एकीकृत करना आसान है
- Command line interface कस्टम स्क्रिप्ट लिखे बिना त्वरित मूल्यांकन की अनुमति देता है
- जापानी और चीनी सहित कई भाषाओं के लिए अंतर्निहित समर्थन
- स्वचालित परीक्षण और CI एकीकरण के लिए संरचित JSON परिणाम आउटपुट करता है
कहाँ कमी है
- उपयोग की जाने वाली सुविधाओं और भाषाओं के आधार पर spaCy, janome या MeCab जैसी बाहरी NLP लाइब्रेरी की आवश्यकता होती है
- इंस्टॉल करने, निर्भरता कॉन्फ़िगर करने और मूल्यांकन पाइपलाइनों में एकीकृत करने के लिए तकनीकी कौशल की आवश्यकता होती है
- कोई ग्राफिकल यूजर इंटरफेस नहीं है; विशुद्ध रूप से एक command line और प्रोग्रामेटिक लाइब्रेरी है
मूल्य & लाइसेंस
यह अपने लाइसेंस के तहत मुफ्त और open-source है, और कोई भुगतान किया हुआ होस्टेड विकल्प प्रदान नहीं किया जाता है। एकमात्र लागत इसे स्वयं चलाना और किसी भी आवश्यक पाइथन निर्भरता को प्रबंधित करना है।
हिंदी बोलने वालों के लिए जॉब्स
880 खुले रिमोट AI-ट्रेनिंग रोल, 15 नवंबर 2026 को अपडेट; ज़्यादातर में $20–$175 प्रति घंटा। इनमें से 5 हिंदी बोलने वालों के लिए हैं। Zekai इन्हें मुफ़्त में लिस्ट करता है; आवेदन एम्प्लॉयर के प्लेटफ़ॉर्म पर जाता है।
विकल्प
इसे उपयोग करें, या हमसे सेट करवाएं
सामान्य प्रश्न
क्या sumeval अंग्रेजी के अलावा अन्य भाषाओं का समर्थन करता है?
हाँ, यह अतिरिक्त निर्भरताओं के साथ जापानी और चीनी का समर्थन करता है, और बेस क्लास अन्य भाषाओं में विस्तार करने की अनुमति देता है।
BLEU की गणना कैसे की जाती है?
आधिकारिक WMT मूल्यांकन स्क्रिप्ट के साथ संगति सुनिश्चित करने के लिए SacréBLEU का उपयोग करके BLEU की गणना की जाती है।
