एक एकीकृत API के माध्यम से LLMs, स्पीच और मल्टीмоडल मॉडल सर्व करें।
एक एकीकृत inference API का उपयोग करके क्लाउड, ऑन-प्रेम या अपने लैपटॉप पर LLMs, स्पीच और मल्टीмоडल मॉडल चलाएं।
Xorbits Inference आपको एक सिंगल कमांड का उपयोग करके भाषा, स्पीच रिकग्निशन और मल्टीмоडल मॉडल तैनात करने देता है। यह डेवलपर्स और डेटा वैज्ञानिकों के लिए उपयुक्त है जिन्हें OpenAI-संगत RESTful API के साथ open-source AI मॉडल सर्व करने की आवश्यकता होती है।
यह विषम हार्डवेयर (heterogeneous hardware) में मॉडल सर्विंग का प्रबंधन करता है, जिसमें वितरित क्लस्टर (distributed clusters), स्वचालित अनुरोध बैचिंग, और LangChain तथा Dify जैसे तीसरे पक्ष के टूल के साथ एकीकरण का समर्थन शामिल है। यह GGML, vLLM और TensorRT सहित कई इंजन प्रदान करता है।
यह स्थानीय या वितरित AI एप्लिकेशन बनाने वाले इंजीनियरों के लिए उपयुक्त है जो कोड को दोबारा लिखे बिना मॉडल बैकएंड को बदलना चाहते हैं। यह उन उपयोगकर्ताओं के लिए उपयुक्त नहीं है जो बिना कोड इंटरैक्शन के पारंपरिक रेडीमेड वीडियो संपादन एप्लिकेशन की तलाश कर रहे हैं।
एक एकीकृत API के माध्यम से vLLM, GGML, TensorRT और कस्टम बैकएंड का समर्थन करता है।
आसान ड्रॉप-इन रिप्लेसमेंट के लिए फ़ंक्शन कॉलिंग सहित RESTful एंडपॉइंट प्रदान करता है।
inference कार्यों को तेज करने के लिए बुद्धिमानी से GPU और CPU दोनों का उपयोग करता है।
कई उपकरणों या मशीनों में मॉडल inference को सहजता से वितरित करता है।
यह सॉफ़्टवेयर अपने open-source लाइसेंस के तहत मुफ़्त है, और एकमात्र लागत आपके द्वारा बुनियादी ढांचे (infrastructure) को स्वयं चलाने की है जब तक कि आप एंटरप्राइज पेशकशों का विकल्प नहीं चुनते।
877 खुले रिमोट AI-ट्रेनिंग रोल, 16 नवंबर 2026 को अपडेट; ज़्यादातर में $20–$175 प्रति घंटा। इनमें से 5 हिंदी बोलने वालों के लिए हैं। Zekai इन्हें मुफ़्त में लिस्ट करता है; आवेदन एम्प्लॉयर के प्लेटफ़ॉर्म पर जाता है।
हाँ, यह एक OpenAI-संगत RESTful API प्रदान करता है जिसमें फ़ंक्शन कॉलिंग शामिल है।
यह क्लाउड, ऑन-प्रेम और लैपटॉप पर GPU और CPU सहित विषम हार्डवेयर का समर्थन करता है।
हाँ, यह मूल रूप से भाषा, स्पीच रिकग्निशन, टेक्स्ट-टू-इमेज और मल्टीмоडल मॉडल सर्व करता है।
Google में Zekai को सबसे पहले देखें