आपके काम के लिए रेटेड एआई टूल
AI ट्रेन करके कमाएँ
🤝 आप फ्री & ओपन सोर्स लाइब्रेरी में हैं — समुदाय द्वारा बनाए गए टूल जिन्हें आप बिना भुगतान किए उपयोग कर सकते हैं। हमारी स्कोर की गई AI डायरेक्टरी से अलग एक अवधारणा।
होम › फ्री & ओपन सोर्स › वीडियो › LatentSync
✦ फ्री & ओपन सोर्सवीडियो

LatentSync

ByteDance लिप-सिंक मॉडल जो लेटेंट डिफ्यूजन का उपयोग करके वास्तविक वीडियो में मुंह को नए ऑडियो के साथ फिर से सिंक करता है।

वास्तविक वीडियो को नए ऑडियो के साथ लिप-सिंक करें

ByteDance का लेटेंट डिफ्यूजन लिप-सिंक, जिसमें 8 GB और 18 GB VRAM रिलीज़ शामिल हैं।

हमेशा के लिए मुफ़्त · ओपन सोर्स · Apache-2.0
✓ Needs IT✓ ब्राउज़र-आधारित✓ रियल-टाइम सहयोग
5.5
ZEKAI
फुटेज के लिए ओपन लिप-सिंक
फ्री & ओपन सोर्स · वीडियो
सेटअप की आसानी4
उपयोगिता7
रखरखाव3.5
समुदाय7.5
★ 6,276
गिटहब
Jun 2025
अपडेटेड
Apache-2.0
लाइसेंस
🛠 खुद होस्ट नहीं करना चाहते? हम इसे सेट कर सकते हैं →
⚡ त्वरित उत्तर

LatentSync, ByteDance की एक एंड-टू-एंड लिप-सिंक विधि है जो ऑडियो-कंडीशंड लेटेंट डिफ्यूजन पर आधारित है। यह उन डेवलपर्स के लिए उपयुक्त है जिन्हें सटीक मुंह की गति के साथ मौजूदा फुटेज की डबिंग या अनुवाद की आवश्यकता है।

इस पर चलता है
Cross-platform
होस्टिंग
Self-host
भाषाएँ
Python
लाइसेंस
Apache-2.0

यह क्या है

README के अनुसार यह बिना किसी मध्यवर्ती गति प्रतिनिधित्व के सीधे Stable Diffusion के साथ ऑडियो-विजुअल सहसंबंधों को मॉडल करता है। इसमें v1.5 (8 GB VRAM इन्फेरेंस) और v1.6 (18 GB), एक Gradio ऐप, कमांड-लाइन इन्फेरेंस और ट्रेनिंग कॉन्फ़िगरेशन शामिल हैं।

किसके लिए

NVIDIA GPU वाले डेवलपर्स और पोस्ट-प्रोडक्शन टीमों के लिए उपयुक्त जिनके पास वक्ता का फुटेज पहले से मौजूद है। यह किसी स्क्रिप्ट से प्रस्तोता नहीं बनाता है, और इसके वेट्स कोड से अलग लाइसेंस के तहत हैं।

मुख्य विशेषताएँ

लेटेंट डिफ्यूजन लिप-सिंक

मध्यवर्ती गति प्रतिनिधित्व के बिना एंड-टू-एंड विधि।

दो VRAM टियर

v1.5 के लिए 8 GB या v1.6 के लिए 18 GB इन्फेरेंस VRAM की आवश्यकता होती है।

Gradio ऐप

डेमो UI या कमांड-लाइन स्क्रिप्ट चलाएं।

ट्रेनिंग कोड

स्टेज 1 और स्टेज 2 ट्रेनिंग कॉन्फ़िगरेशन प्रकाशित किए गए हैं।

टेम्पोरल लेयर

v1.5 निरंतरता के लिए एक टेम्पोरल लेयर जोड़ता है।

Hugging Face वेट्स

ByteDance Hugging Face रिपो से चेकपॉइंट डाउनलोड करें।

कैसे शुरू करें

3 चरणों में तैयार

1
CUDA निर्भरता के साथ Python वातावरण बनाने के लिए source setup_env.sh चलाएं।
2
चेकपॉइंट्स फ़ोल्डर में ByteDance LatentSync-1.6 Hugging Face रिपो से latentsync_unet.pt और tiny.pt डाउनलोड करें।
3
Gradio ऐप लॉन्च करें, या वीडियो और ऑडियो फ़ाइल के साथ इन्फेरेंस स्क्रिप्ट चलाएं।
सच कहें तो

हमारा ईमानदार फैसला

क्या अच्छा है

  • ट्रेनिंग कॉन्फ़िगरेशन के साथ एक बड़े लैब का Apache-2.0 कोड।
  • मिड-रेंज GPU के लिए 8 GB विकल्प (v1.5) प्रदान करता है।
  • वास्तविक फुटेज पर काम करता है, इसलिए पहचान और पृष्ठभूमि सुरक्षित रहती है।
  • Gradio और CLI इन्फेरेंस पथ दोनों प्रदान किए गए हैं।

कहाँ कमी है

  • setup_env.sh से NVIDIA GPU और एक CUDA वातावरण की आवश्यकता है; v1.6 के लिए 18 GB VRAM की मांग है।
  • मॉडल वेट्स Hugging Face पर OpenRAIL++ का उपयोग करते हैं, जो कुछ उपयोगों को प्रतिबंधित करता है; व्यावसायिक कार्य से पहले इसे पढ़ें।
  • यह केवल मौजूदा वीडियो में लिप्स बदलता है; यह बोलने वाला प्रस्तोता जनरेट नहीं करता है।
  • README के अनुसार ट्रेनिंग के लिए 20 GB या अधिक VRAM की आवश्यकता होती है।
लागत

मूल्य & लाइसेंस

चलाने के लिए स्वतंत्र: Apache-2.0 कोड और OpenRAIL++ वेट्स। README में किसी होस्टेड प्लान की सूची नहीं है, इसलिए लागत आपका अपना या किराए पर लिया गया GPU समय है।

पेड वर्क

हिंदी बोलने वालों के लिए जॉब्स

865 खुले रिमोट AI-ट्रेनिंग रोल, 18 नवंबर 2026 को अपडेट; ज़्यादातर में $20–$180 प्रति घंटा। इनमें से 4 हिंदी बोलने वालों के लिए हैं। Zekai इन्हें मुफ़्त में लिस्ट करता है; आवेदन एम्प्लॉयर के प्लेटफ़ॉर्म पर जाता है।

सभी खुले रोल देखें →
तुलना

विकल्प

🎁 फ्री & ओपन-सोर्स विकल्प

ये समीक्षित AI टूल यही काम तुरंत करते हैं — हमारी स्कोर की गई डायरेक्टरी से।

और पाएं

इसे उपयोग करें, या हमसे सेट करवाएं

📄 मुफ़्त PDF: वीडियो के लिए LatentSync
आपका पहला परिणाम पाने के लिए सरल भाषा में गाइड। आपके इनबॉक्स में।
🔔 64 लोग पूरा वीडियो ट्यूटोरियल चाहते हैं — अपना वोट जोड़ें
🛠 खुद सेट नहीं करना चाहते?
हम LatentSync को आपके लिए इंस्टॉल, होस्ट और कॉन्फ़िगर करेंगे — और आपकी टीम को प्रशिक्षित करेंगे।
हमसे करवाएं ↗
प्रश्न

सामान्य प्रश्न

LatentSync को कितने VRAM की आवश्यकता है?

README के अनुसार इन्फेरेंस के लिए v1.5 के साथ न्यूनतम 8 GB और v1.6 के साथ 18 GB की आवश्यकता होती है।

क्या मैं व्यावसायिक रूप से LatentSync का उपयोग कर सकता हूँ?

कोड Apache-2.0 है, लेकिन Hugging Face वेट्स OpenRAIL++ के तहत सूचीबद्ध हैं, जो प्रतिबंधों के साथ उपयोग की अनुमति देते हैं। पहले उस लाइसेंस को पढ़ें।

क्या यह किसी फोटो से नया वीडियो जनरेट करता है?

नहीं। यह आपके द्वारा प्रदान किए गए फुटेज में मुंह को फिर से सिंक करता है।

रडार

ताज़ा AI समाचार

✉️ साप्ताहिक मुफ़्त टूलकिट
वीडियो के लिए सर्वश्रेष्ठ नए फ्री & ओपन-सोर्स टूल — हर हफ्ते एक छोटा ईमेल, आपकी भाषा में।
मुफ़्त · 1 ईमेल/सप्ताह · कभी भी अनसब्सक्राइब करें
AI ट्रेनिंग से पैसे कमाएँ →

Google में Zekai को सबसे पहले देखें