AngelSlim
कुशल LLM, VLM और डिफ्यूजन वर्कफ़्लो के लिए मॉडल कम्प्रेशन टूलकिट।
LLM, VLM और डिफ्यूजन मॉडल कम्प्रेशन, क्वांटाइजेशन और डिस्टिलेशन के लिए व्यापक टूलकिट।
AngelSlim Tencent द्वारा Hunyuan, Qwen और DeepSeek जैसे बड़े मॉडलों के लिए इंजीनियर किया गया एक ओपन-सोर्स मॉडल कम्प्रेशन टूलकिट है। यह उन्नत क्वांटाइजेशन और स्पेक्युलेटिव डिकोडिंग के माध्यम से मॉडल फुटप्रिंट को कम करने की आवश्यकता वाले ऑडियो, AI और मॉडल इंफ्रास्ट्रक्चर इंजीनियरों के लिए उपयुक्त है।
यह क्या है
यह टूलकिट INT4, FP8 और NVFP4 जैसे क्वांटाइजेशन एल्गोरिदम के लिए एक एकीकृत फ्रेमवर्क प्रदान करता है, साथ ही Eagle3, DFlare और DFly जैसे स्पेक्युलेटिव डिकोडिंग फ्रेमवर्क भी प्रदान करता है। यह बड़े मॉडल की तैनाती को अनुकूलित करने के लिए स्पार्स अटेंशन मैकेनिज्म और स्केल-ओनली क्वांटाइजेशन-अवेयर डिस्टिलेशन को भी एकीकृत करता है।
किसके लिए
यह सीमित हार्डवेयर पर बड़े भाषा या मल्टीमॉडल मॉडल तैनात करने वाले मशीन लर्निंग इंजीनियरों और शोधकर्ताओं के लिए उपयुक्त है। यह उच्च-स्तरीय डिजिटल ऑडियो वर्कस्टेशन प्लगइन्स या गैर-तकनीकी रचनाकारों की तलाश करने वाले ऑडियो चिकित्सकों के लिए उपयुक्त नहीं है।
मुख्य विशेषताएँ
विविध क्वांटाइजेशन
FP8, INT8, INT4, NVFP4 और कस्टम टर्नरी क्वांटाइजेशन एल्गोरिदम का समर्थन करता है।
स्पेक्युलेटिव डिकोडिंग
एंड-टू-एंड इन्फेरेंस स्पीडअप के लिए Eagle3, DFlare, DFly और MTP फ्रेमवर्क लागू करता है।
स्पार्स अटेंशन
लंबी-कंटेक्स्ट प्रीफिल को तेज करने के लिए Stem और MInference ब्लॉक-स्पार्स अटेंशन एल्गोरिदम शामिल करता है।
क्वांटाइज्ड डिस्टिलेशन
वितरित प्रशिक्षण के लिए Megatron-Core पर क्वांटाइजेशन-अवेयर डिस्टिलेशन समर्थन प्रदान करता है।
3 चरणों में तैयार
हमारा ईमानदार फैसला
क्या अच्छा है
- मुख्यधारा के कम्प्रेशन एल्गोरिदम को एक एकल एकीकृत फ्रेमवर्क में एकीकृत करता है
- 1.25-बिट और 2-बिट मॉडल संस्करणों तक चरम क्वांटाइजेशन विधियों का समर्थन करता है
- ब्लॉक-डिफ्यूजन लेयर-वाइज फ्यूजन जैसी विशिष्ट स्पेक्युलेटिव डिकोडिंग रणनीतियाँ प्रदान करता है
- एक ही GPU पर Qwen3-235B और DeepSeek-R1 जैसे बड़े मॉडल क्वांटाइजेशन को सक्षम बनाता है
कहाँ कमी है
- डीप लर्निंग फ्रेमवर्क और वितरित प्रशिक्षण में उन्नत तकनीकी कौशल की आवश्यकता होती है
- इसके रिपॉजिटरी मेटाडेटा में विशिष्ट ओपन-सोर्स लाइसेंस का उल्लेख नहीं है
- विशाल संपीड़ित मॉडल चलाने के लिए अभी भी महत्वपूर्ण GPU या सिस्टम मेमोरी संसाधनों की आवश्यकता होती है
मूल्य & लाइसेंस
सॉफ्टवेयर इसके GitHub रिपॉजिटरी के माध्यम से प्रदान किया जाता है, और एकमात्र लागत इसे अपने स्वयं के हार्डवेयर पर स्वयं चलाना है।
हिंदी बोलने वालों के लिए जॉब्स
876 खुले रिमोट AI-ट्रेनिंग रोल, 15 नवंबर 2026 को अपडेट; ज़्यादातर में $20–$170 प्रति घंटा। इनमें से 5 हिंदी बोलने वालों के लिए हैं। Zekai इन्हें मुफ़्त में लिस्ट करता है; आवेदन एम्प्लॉयर के प्लेटफ़ॉर्म पर जाता है।
