आपके काम के लिए रेटेड एआई टूल
AI ट्रेन करके कमाएँ
🤝 आप फ्री & ओपन सोर्स लाइब्रेरी में हैं — समुदाय द्वारा बनाए गए टूल जिन्हें आप बिना भुगतान किए उपयोग कर सकते हैं। हमारी स्कोर की गई AI डायरेक्टरी से अलग एक अवधारणा।
होम › फ्री & ओपन सोर्स › वीडियो › inference
✦ फ्री & ओपन सोर्सवीडियो

inference

एक एकीकृत API के माध्यम से LLMs, स्पीच और मल्टीмоडल मॉडल सर्व करें।

एक कमांड के साथ किसी भी open-source मॉडल को तैनात करें

एक एकीकृत inference API का उपयोग करके क्लाउड, ऑन-प्रेम या अपने लैपटॉप पर LLMs, स्पीच और मल्टीмоडल मॉडल चलाएं।

हमेशा के लिए मुफ़्त · ओपन सोर्स · Apache-2.0
✓ Light setup✓ ब्राउज़र-आधारित✓ रियल-टाइम सहयोग
7.5
ZEKAI
एकीकृत open-source AI मॉडल सर्विंग
फ्री & ओपन सोर्स · वीडियो
सेटअप की आसानी4
उपयोगिता8
रखरखाव9.5
समुदाय8.5
★ 9,608
गिटहब
Oct 2026
अपडेटेड
Apache-2.0
लाइसेंस
🛠 खुद होस्ट नहीं करना चाहते? हम इसे सेट कर सकते हैं →
⚡ त्वरित उत्तर

Xorbits Inference आपको एक सिंगल कमांड का उपयोग करके भाषा, स्पीच रिकग्निशन और मल्टीмоडल मॉडल तैनात करने देता है। यह डेवलपर्स और डेटा वैज्ञानिकों के लिए उपयुक्त है जिन्हें OpenAI-संगत RESTful API के साथ open-source AI मॉडल सर्व करने की आवश्यकता होती है।

इस पर चलता है
Cross-platform
होस्टिंग
क्लाउड या सेल्फ-होस्ट
भाषाएँ
Python
लाइसेंस
Apache-2.0

यह क्या है

यह विषम हार्डवेयर (heterogeneous hardware) में मॉडल सर्विंग का प्रबंधन करता है, जिसमें वितरित क्लस्टर (distributed clusters), स्वचालित अनुरोध बैचिंग, और LangChain तथा Dify जैसे तीसरे पक्ष के टूल के साथ एकीकरण का समर्थन शामिल है। यह GGML, vLLM और TensorRT सहित कई इंजन प्रदान करता है।

किसके लिए

यह स्थानीय या वितरित AI एप्लिकेशन बनाने वाले इंजीनियरों के लिए उपयुक्त है जो कोड को दोबारा लिखे बिना मॉडल बैकएंड को बदलना चाहते हैं। यह उन उपयोगकर्ताओं के लिए उपयुक्त नहीं है जो बिना कोड इंटरैक्शन के पारंपरिक रेडीमेड वीडियो संपादन एप्लिकेशन की तलाश कर रहे हैं।

मुख्य विशेषताएँ

मल्टी-इंजन सर्विंग

एक एकीकृत API के माध्यम से vLLM, GGML, TensorRT और कस्टम बैकएंड का समर्थन करता है।

OpenAI-संगत API

आसान ड्रॉप-इन रिप्लेसमेंट के लिए फ़ंक्शन कॉलिंग सहित RESTful एंडपॉइंट प्रदान करता है।

विषम हार्डवेयर (Heterogeneous hardware)

inference कार्यों को तेज करने के लिए बुद्धिमानी से GPU और CPU दोनों का उपयोग करता है।

वितरित तैनाती (Distributed deployment)

कई उपकरणों या मशीनों में मॉडल inference को सहजता से वितरित करता है।

कैसे शुरू करें

3 चरणों में तैयार

1
अपने Python वातावरण में PyPI का उपयोग करके लाइब्रेरी इंस्टॉल करें।
2
कमांड-लाइन इंटरफ़ेस का उपयोग करके inference सेवा शुरू करें।
3
OpenAI-संगत RESTful API एंडपॉइंट का उपयोग करके अपने एप्लिकेशन को कनेक्ट करें।
सच कहें तो

हमारा ईमानदार फैसला

क्या अच्छा है

  • कोड की एक ही लाइन को बदलकर OpenAI एंडपॉइंट्स के लिए ड्रॉप-इन रिप्लेसमेंट
  • टेक्स्ट-टू-इमेज, ऑडियो और मल्टीмоडल मॉडल के लिए अंतर्निहित समर्थन
  • वितरित क्लस्टर तैनाती और ऑटो-बैचिंग क्षमताओं को शामिल करता है
  • LangChain, LlamaIndex और Dify के साथ मूल रूप से एकीकृत होता है

कहाँ कमी है

  • मॉडल वेट और हार्डवेयर संसाधनों को सेट अप और प्रबंधित करने के लिए तकनीकी कौशल की आवश्यकता होती है
  • बड़े language और मल्टीмоडल मॉडल चलाने के लिए महत्वपूर्ण GPU/CPU क्षमता की मांग होती है
  • self-host में चल रहे बुनियादी ढांचे के रखरखाव और निगरानी की लागत शामिल होती है
लागत

मूल्य & लाइसेंस

यह सॉफ़्टवेयर अपने open-source लाइसेंस के तहत मुफ़्त है, और एकमात्र लागत आपके द्वारा बुनियादी ढांचे (infrastructure) को स्वयं चलाने की है जब तक कि आप एंटरप्राइज पेशकशों का विकल्प नहीं चुनते।

पेड वर्क

हिंदी बोलने वालों के लिए जॉब्स

877 खुले रिमोट AI-ट्रेनिंग रोल, 16 नवंबर 2026 को अपडेट; ज़्यादातर में $20–$175 प्रति घंटा। इनमें से 5 हिंदी बोलने वालों के लिए हैं। Zekai इन्हें मुफ़्त में लिस्ट करता है; आवेदन एम्प्लॉयर के प्लेटफ़ॉर्म पर जाता है।

सभी खुले रोल देखें →
तुलना

विकल्प

और पाएं

इसे उपयोग करें, या हमसे सेट करवाएं

📄 मुफ़्त PDF: वीडियो के लिए inference
आपका पहला परिणाम पाने के लिए सरल भाषा में गाइड। आपके इनबॉक्स में।
🔔 64 लोग पूरा वीडियो ट्यूटोरियल चाहते हैं — अपना वोट जोड़ें
🛠 खुद सेट नहीं करना चाहते?
हम inference को आपके लिए इंस्टॉल, होस्ट और कॉन्फ़िगर करेंगे — और आपकी टीम को प्रशिक्षित करेंगे।
हमसे करवाएं ↗
प्रश्न

सामान्य प्रश्न

क्या मैं इसे OpenAI के लिए ड्रॉप-इन रिप्लेसमेंट के रूप में उपयोग कर सकता हूँ?

हाँ, यह एक OpenAI-संगत RESTful API प्रदान करता है जिसमें फ़ंक्शन कॉलिंग शामिल है।

कौन से हार्डवेयर प्लेटफ़ॉर्म समर्थित हैं?

यह क्लाउड, ऑन-प्रेम और लैपटॉप पर GPU और CPU सहित विषम हार्डवेयर का समर्थन करता है।

क्या यह मल्टीмоडल मॉडल का समर्थन करता है?

हाँ, यह मूल रूप से भाषा, स्पीच रिकग्निशन, टेक्स्ट-टू-इमेज और मल्टीмоडल मॉडल सर्व करता है।

रडार

ताज़ा AI समाचार

✉️ साप्ताहिक मुफ़्त टूलकिट
वीडियो के लिए सर्वश्रेष्ठ नए फ्री & ओपन-सोर्स टूल — हर हफ्ते एक छोटा ईमेल, आपकी भाषा में।
मुफ़्त · 1 ईमेल/सप्ताह · कभी भी अनसब्सक्राइब करें
AI ट्रेनिंग से पैसे कमाएँ →

Google में Zekai को सबसे पहले देखें