نموذج مزامنة الشفاه من ByteDance الذي يعيد مزامنة الأفواه في الفيديو الحقيقي مع صوت جديد باستخدام الانتشار الكامن (latent diffusion).
مزامنة الشفاه عبر الانتشار الكامن من ByteDance، مع إصدار يتطلب 8 GB وآخر يتطلب 18 GB من الـ VRAM.
LatentSync هي طريقة متكاملة لمزامنة الشفاه من ByteDance تعتمد على الانتشار الكامن المشروط بالصوت. وهي تناسب المطورين الذين يحتاجون إلى دبلجة أو ترجمة اللقطات الموجودة مع حركة فم دقيقة.
يقول ملف README إنه يقوم بنمذجة الارتباطات السمعية والبصرية مباشرة باستخدام Stable Diffusion، دون تمثيل حركي وسيط. يأتي الإصدار v1.5 (يتطلب 8 GB VRAM للاستدلال) والإصدار v1.6 (يتطلب 18 GB)، مع تطبيق Gradio، واستدلال عبر CLI، وإعدادات للتدريب.
يناسب المطورين وفرق ما بعد الإنتاج الذين يمتلكون وحدة معالجة رسومات NVIDIA ولديهم بالفعل لقطات لمتحدث. لا يقوم بإنشاء مقدم من نص، والأوزان تخضع لترخيص مختلف عن الكود.
طريقة متكاملة بدون تمثيل حركي وسيط.
يتطلب الاستدلال 8 GB للإصدار v1.5 أو 18 GB للإصدار v1.6.
قم بتشغيل واجهة العرض التوضيحي أو البرنامج النصي لسطر الأوامر.
تم نشر إعدادات التدريب للمرحلة الأولى والمرحلة الثانية.
يضيف الإصدار v1.5 طبقة زمنية للاتساق.
تحميل نقاط التحقق من مستودع ByteDance على Hugging Face.
مجاني للتشغيل: كود بترخيص Apache-2.0 وأوزان بترخيص OpenRAIL++. لا يدرج ملف README أي خطة مستضافة، لذا فإن التكلفة هي تكلفة وقت وحدة معالجة الرسومات الخاصة بك أو المستأجرة.
870 وظيفة مفتوحة عن بعد في تدريب الذكاء الاصطناعي، آخر تحديث ١٧ نوفمبر ٢٠٢٦؛ أجر معظمها $20–$175 في الساعة. منها 2 وظائف تطلب متحدثين بالعربية. يعرضها ذكائي مجانًا، والتقديم يتم على منصة جهة التوظيف.
أدوات الذكاء الاصطناعي المُراجَعة هذه تؤدي المهمة فوراً — من دليلنا المُقيَّم.
يقول ملف README إن الاستدلال يحتاج إلى 8 GB كحد أدنى للإصدار v1.5 و 18 GB للإصدار v1.6.
الكود بترخيص Apache-2.0، ولكن أوزان Hugging Face مدرجة تحت ترخيص OpenRAIL++، والذي يسمح بالاستخدام مع قيود. اقرأ هذا الترخيص أولاً.
لا. إنه يعيد مزامنة الفم في اللقطات التي توفرها.
شاهد Zekai أولاً في جوجل