ड्रॉप-इन OpenAI, Anthropic और ElevenLabs API एंडपॉइंट्स का उपयोग करके स्थानीय स्तर पर LLM, ऑडियो, विजन और इमेज मॉडल चलाएं।
किसी भी CPU या GPU हार्डवेयर पर मानक API एंडपॉइंट्स के पीछे लोकल LLM, स्पीच और इमेज मॉडल सर्व करें।
LocalAI एक सेल्फ-होस्टेड इन्फेरेंस इंजन है जो OpenAI, Anthropic और ElevenLabs से मेल खाने वाले मानक API के माध्यम से लोकल मॉडल सर्व करता है। यह मालिकाना हार्डवेयर या क्लाउड एक्सेस की आवश्यकता के बिना कंज्यूमर CPU, Apple Silicon और समर्पित GPU पर चलता है। आप इसका उपयोग अपने स्वयं के बुनियादी ढांचे पर गोपनीयता-केंद्रित AI एप्लिकेशन और सॉफ्टवेयर टूल बनाने के लिए कर सकते हैं।
यह प्लेटफ़ॉर्म टेक्स्ट, विजन, ऑडियो और वीडियो मॉडल को संभालने के लिए मांग पर खींचे जाने वाले मॉड्यूलर कंटेनर बैकएंड के रूप में llama.cpp, vLLM और whisper.cpp जैसे बैकएंड इंजन चलाता है। इसमें टेनेंट ऑथेंटिकेशन, प्रति-उपयोगकर्ता उपयोग ट्रैकिंग और एक अंतर्निहित टर्मिनल एजेंट शामिल है जो अनुमोदन पर कमांड निष्पादित करता है। यह HuggingFace, Ollama registries और OCI इमेज से सीधे मॉडल खींचने का भी समर्थन करता है।
यह सॉफ्टवेयर इंजीनियरों और IT टीमों के अनुकूल है जिन्हें एप्लिकेशन बनाने या लोकल मॉडल सर्व करने के लिए सेल्फ-होस्टेड, गोपनीयता-अनुपालन AI एंडपॉइंट्स की आवश्यकता होती है। यह ऐसे वातावरण के लिए आदर्श है जहाँ डेटा ऑन-प्रिमाइसेस रहना चाहिए या क्लाउड API की लागत बहुत अधिक है। यह बिना किसी कंटेनर कॉन्फ़िगरेशन वाले वन-क्लिक डेस्कटॉप क्लाइंट की तलाश करने वाले गैर-तकनीकी उपयोगकर्ताओं के लिए अभिप्रेत नहीं है।
llama.cpp या vLLM जैसी मॉड्यूलर बैकएंड इमेज तभी डाउनलोड करता है जब विशिष्ट मॉडल को उनकी आवश्यकता होती है।
रिमोट OpenAI, Anthropic, ElevenLabs और Ollama एंडपॉइंट्स को लोकल मॉडल सर्वर से बदलता है।
CPU, NVIDIA CUDA, AMD ROCm, Intel oneAPI, Apple Silicon और Vulkan बैकएंड पर मॉडल निष्पादित करता है।
टूल आह्वान, फ़ाइल निरीक्षण और RAG क्वेरी प्रोसेसिंग में सक्षम टर्मिनल एजेंट वर्कफ़्लो शामिल हैं।
टेनेंट ऑथेंटिकेशन, प्रति-उपयोगकर्ता कोटा, API कुंजियाँ और विस्तृत संसाधन उपयोग ट्रैकिंग प्रबंधित करता है।
LocalAI MIT लाइसेंस के तहत मुफ़्त और open source है। इसमें शामिल एकमात्र लागत मॉडल को चलाने के लिए आवश्यक लोकल हार्डवेयर, सर्वर बुनियादी ढांचे और बिजली की व्यवस्था करने से आती है।
877 खुले रिमोट AI-ट्रेनिंग रोल, 16 नवंबर 2026 को अपडेट; ज़्यादातर में $20–$175 प्रति घंटा। इनमें से 5 हिंदी बोलने वालों के लिए हैं। Zekai इन्हें मुफ़्त में लिस्ट करता है; आवेदन एम्प्लॉयर के प्लेटफ़ॉर्म पर जाता है।
ये समीक्षित AI टूल यही काम तुरंत करते हैं — हमारी स्कोर की गई डायरेक्टरी से।
नहीं, LocalAI NVIDIA, AMD, Intel, Apple Silicon और Vulkan त्वरण के साथ शुद्ध CPU निष्पादन का समर्थन करता है।
यह एक संयोज्य वास्तुकला का उपयोग करता है जो मॉडल को आवश्यकता होने पर ही बैकएंड निर्भरता को अलग कंटेनर इमेज के रूप में खींचता है।
हाँ, LocalAI OpenAI-संगत REST एंडपॉइंट्स को उजागर करता है ताकि आप अपनी मौजूदा क्लाइंट लाइब्रेरी में बेस URL बदल सकें।
Google में Zekai को सबसे पहले देखें