ByteDance लिप-सिंक मॉडल जो लेटेंट डिफ्यूजन का उपयोग करके वास्तविक वीडियो में मुंह को नए ऑडियो के साथ फिर से सिंक करता है।
ByteDance का लेटेंट डिफ्यूजन लिप-सिंक, जिसमें 8 GB और 18 GB VRAM रिलीज़ शामिल हैं।
LatentSync, ByteDance की एक एंड-टू-एंड लिप-सिंक विधि है जो ऑडियो-कंडीशंड लेटेंट डिफ्यूजन पर आधारित है। यह उन डेवलपर्स के लिए उपयुक्त है जिन्हें सटीक मुंह की गति के साथ मौजूदा फुटेज की डबिंग या अनुवाद की आवश्यकता है।
README के अनुसार यह बिना किसी मध्यवर्ती गति प्रतिनिधित्व के सीधे Stable Diffusion के साथ ऑडियो-विजुअल सहसंबंधों को मॉडल करता है। इसमें v1.5 (8 GB VRAM इन्फेरेंस) और v1.6 (18 GB), एक Gradio ऐप, कमांड-लाइन इन्फेरेंस और ट्रेनिंग कॉन्फ़िगरेशन शामिल हैं।
NVIDIA GPU वाले डेवलपर्स और पोस्ट-प्रोडक्शन टीमों के लिए उपयुक्त जिनके पास वक्ता का फुटेज पहले से मौजूद है। यह किसी स्क्रिप्ट से प्रस्तोता नहीं बनाता है, और इसके वेट्स कोड से अलग लाइसेंस के तहत हैं।
मध्यवर्ती गति प्रतिनिधित्व के बिना एंड-टू-एंड विधि।
v1.5 के लिए 8 GB या v1.6 के लिए 18 GB इन्फेरेंस VRAM की आवश्यकता होती है।
डेमो UI या कमांड-लाइन स्क्रिप्ट चलाएं।
स्टेज 1 और स्टेज 2 ट्रेनिंग कॉन्फ़िगरेशन प्रकाशित किए गए हैं।
v1.5 निरंतरता के लिए एक टेम्पोरल लेयर जोड़ता है।
ByteDance Hugging Face रिपो से चेकपॉइंट डाउनलोड करें।
चलाने के लिए स्वतंत्र: Apache-2.0 कोड और OpenRAIL++ वेट्स। README में किसी होस्टेड प्लान की सूची नहीं है, इसलिए लागत आपका अपना या किराए पर लिया गया GPU समय है।
865 खुले रिमोट AI-ट्रेनिंग रोल, 18 नवंबर 2026 को अपडेट; ज़्यादातर में $20–$180 प्रति घंटा। इनमें से 4 हिंदी बोलने वालों के लिए हैं। Zekai इन्हें मुफ़्त में लिस्ट करता है; आवेदन एम्प्लॉयर के प्लेटफ़ॉर्म पर जाता है।
ये समीक्षित AI टूल यही काम तुरंत करते हैं — हमारी स्कोर की गई डायरेक्टरी से।
README के अनुसार इन्फेरेंस के लिए v1.5 के साथ न्यूनतम 8 GB और v1.6 के साथ 18 GB की आवश्यकता होती है।
कोड Apache-2.0 है, लेकिन Hugging Face वेट्स OpenRAIL++ के तहत सूचीबद्ध हैं, जो प्रतिबंधों के साथ उपयोग की अनुमति देते हैं। पहले उस लाइसेंस को पढ़ें।
नहीं। यह आपके द्वारा प्रदान किए गए फुटेज में मुंह को फिर से सिंक करता है।
Google में Zekai को सबसे पहले देखें