WhisperLiveKit
सेल्फ-होस्टेड स्पीच रिकग्निशन और रियल-टाइम ट्रांसलेशन सर्वर जो स्ट्रीमिंग Whisper, Voxtral और डायरिएक्शन को सपोर्ट करता है।
OpenAI-संगत API के साथ कम विलंबता (low-latency) वाली स्ट्रीमिंग ट्रांसक्रिप्शन, स्पीकर डायरिएक्शन और ट्रांसलेशन को सेल्फ-होस्ट करें।
WhisperLiveKit कम विलंबता वाले लाइव ऑडियो प्रोसेसिंग के लिए डिज़ाइन किया गया एक ओपन-सोर्स स्पीच रिकग्निशन और स्ट्रीमिंग ट्रांसलेशन सर्वर है। यह स्थानीयकरण टीमों, सॉफ्टवेयर डेवलपर्स और अनुवादकों की सेवा करता है जिन्हें अपने स्वयं के हार्डवेयर पर होस्ट किए गए रियल-टाइम ट्रांसक्रिप्शन और बहुभाषी अनुवाद की आवश्यकता होती है। यह तुरंत उपयोग के लिए OpenAI और Deepgram संगत एंडपॉइंट प्रदान करता है।
यह क्या है
यह सॉफ्टवेयर आने वाले ऑडियो स्ट्रीम को बफर करता है और शब्द के बीच में रुकावट को रोकने के लिए AlignAtt और LocalAgreement जैसी नीतियों का उपयोग करके उन्हें वृद्धिशील रूप से (incrementally) प्रोसेस करता है। यह स्ट्रीमिंग Sortformer डायरिएक्शन के माध्यम से बहु-वक्ता (multi-speaker) ऑडियो को संभालता है और भाषण को वास्तविक समय में 200 से अधिक भाषाओं में अनुवादित करता है। यह WebSocket एंडपॉइंट्स, REST रूट्स को उजागर करता है, और CLI टूल के साथ एक अंतर्निहित वेब इंटरफ़ेस शामिल करता है।
किसके लिए
यह डेवलपर्स और स्थानीयकरण विशेषज्ञों के लिए उपयुक्त है जो क्लाउड निर्भरता के बिना लाइव कैप्शनिंग सिस्टम, उपशीर्षक (subtitling) वर्कफ़्लो या वॉयस एप्लिकेशन बना रहे हैं। यह गैर-तकनीकी उपयोगकर्ताओं के लिए उपयुक्त नहीं है जो वन-क्लिक डेस्कटॉप एप्लिकेशन चाहते हैं, क्योंकि सेटअप के लिए टर्मिनल के उपयोग और मॉडल चयन की आवश्यकता होती है।
मुख्य विशेषताएँ
एक साथ बहुभाषी भाषण अनुवाद
एकीकृत NLLW और AlignAtt4LLM डिकोडर मॉडल का उपयोग करके लाइव ऑडियो को 200 भाषाओं में अनुवादित करता है।
रियल-टाइम स्पीकर डायरिएक्शन
स्ट्रीमिंग Sortformer या NeMo बैकएंड का उपयोग करके सीधे कई समवर्ती वक्ताओं को पहचानता और अलग करता है।
API संगतता परत
सीधे ड्रॉप-इन इंटीग्रेशन के लिए OpenAI Python SDKs और Deepgram WebSockets के साथ संगत एंडपॉइंट्स को उजागर करता है।
कम विलंबता वृद्धिशील प्रोसेसिंग
लाइव ऑडियो स्ट्रीमिंग के दौरान मध्य-शब्लांश शब्द क्लिपिंग को समाप्त करने के लिए AlignAtt और LocalAgreement नीतियों का उपयोग करता है।
3 चरणों में तैयार
हमारा ईमानदार फैसला
क्या अच्छा है
- मौजूदा एप्लिकेशन कोबसों के लिए दोहरे OpenAI REST और Deepgram WebSocket API संगतता प्रदान करता है।
- Whisper, Voxtral, Qwen3-ASR और SenseVoice सहित कई मॉड्यूलर बैकएंड का समर्थन करता है।
- समर्पित अनुवाद मॉड्यूल का उपयोग करके 200 लक्ष्य भाषाओं में लाइव ऑडियो संदर्भ का अनुवाद करता है।
- CUDA, Apple Silicon MLX और CPU निष्पादन के लिए समर्थन के साथ पूरी तरह से स्थानीय हार्डवेयर पर चलता है।
कहाँ कमी है
- vLLM और MLX जैसे बैकएंड के बीच पैकेजिंग संघर्षों के कारण वैकल्पिक अतिरिक्त का प्रबंधन करने के लिए कई अलग-थलग Python वातावरण की आवश्यकता होती है।
- बड़े मॉडल पर कम विलंबता प्रदर्शन के लिए आधुनिक GPU हार्डवेयर या हाल के Apple Silicon चिप्स की आवश्यकता होती है।
- उत्पादन उदाहरणों (production instances) को स्थापित करने के लिए टर्मिनल कमांड, WebSocket प्रोटोकॉल और कस्टम SSL कॉन्फ़िगरेशन के तकनीकी ज्ञान की आवश्यकता होती है।
मूल्य & लाइसेंस
Apache-2.0 लाइसेंस के तहत WhisperLiveKit पूरी तरह से मुफ़्त और ओपन सोर्स है। डेवलपर कोई भुगतान किए गए होस्टेड टियर प्रदान नहीं करता है, इसलिए आपका एकमात्र खर्च मॉडल को निष्पादित करने के लिए आवश्यक सर्वर बुनियादी ढांचा या हार्डवेयर है।
हिंदी बोलने वालों के लिए जॉब्स
874 खुले रिमोट AI-ट्रेनिंग रोल, 15 नवंबर 2026 को अपडेट; ज़्यादातर में $20–$170 प्रति घंटा। इनमें से 5 हिंदी बोलने वालों के लिए हैं। Zekai इन्हें मुफ़्त में लिस्ट करता है; आवेदन एम्प्लॉयर के प्लेटफ़ॉर्म पर जाता है।
विकल्प
इसे उपयोग करें, या हमसे सेट करवाएं
सामान्य प्रश्न
क्या WhisperLiveKit उपशीर्षक (subtitle) फ़ाइलें जनरेट करता है?
हाँ, आप सीधे कमांड लाइन से उपशीर्षक फ़ाइलें जनरेट करने के लिए wlk transcribe --format srt file.mp3 चला सकते हैं।
क्या मैं इस सॉफ़्टवेयर को Apple Silicon Macs पर चला सकता हूँ?
हाँ, यह macOS हार्डवेयर पर MLX-त्वरित (accelerated) Whisper और Voxtral मॉडल के लिए समर्पित वैकल्पिक पैकेज प्रदान करता है।
