مزامنة الشفاه بالذكاء الاصطناعي: صورة وصوت يصبحان فيديو ناطقًا

تأخذ أداة مزامنة الشفاه شيئين، صورة لشخص وشيئًا يقوله، وتعيد فيديو لذلك الشخص وهو يقوله. تفعل KreatorFlow ذلك بنموذج OmniHuman 2.0، أحدث نموذج فيديو مدفوع بالصوت من ByteDance. وKreatorFlow شريك رسمي لـ BytePlus، إحدى شركات ByteDance، وتشغّل النموذج عبر BytePlus.

"مدفوع بالصوت" يعني أن الصوت هو الذي يقود. معظم مولدات الفيديو تبدأ من وصف نصي وتضيف الصوت لاحقًا، أما هنا فالصوت يشكّل الأداء كله: يطابق الفم الكلمات، وتتفاعل الحواجب والرأس مع مواضع التشديد، وتبدو الوقفات وقفات حقيقية، وتُؤدّى الأغنية أداءً لا مجرد تحريك للشفاه. ويضيف توجيهك النصي الاختياري ما لا يقوله الصوت، مثل ابتسامة أو إيماءة أو اقتراب بطيء للكاميرا.

ولأن التوليد الواحد قد يمتد حتى 5 دقائق، يمكن أن يكون عرض كامل أو درس أو شرح منتج أو أغنية لقطة واحدة متصلة بالوجه نفسه من البداية إلى النهاية، بدل مقاطع قصيرة مركّبة.

أصواتنا. اكتب ما يجب أن يقوله الشخص واختر أحد الأصوات الإنجليزية المدمجة في صفحة مزامنة الشفاه. يُنشأ المقطع الصوتي أولًا بتحويل النص إلى صوت (2 رصيد لكل 1,000 حرف)، ثم الفيديو.

تسجيلك الخاص. سجّل صوتك بهاتفك، وصدّره بصيغة MP3 أو WAV وارفعه. الكلام الواضح مع ضوضاء خلفية قليلة يعطي أدق حركة للفم.

صوت من استوديو الصوت. أنشئ مقطعًا بالعربية بأصوات مثل أصوات صفحة تحويل النص العربي إلى صوت، أو استنسخ صوتك واستخدم مقطعًا به. تظهر المقاطع التي أنشأتها في قائمة اختيار الصوت في مزامنة الشفاه.

أغنية. ارفع مقطعًا غنائيًا تملك حقوقه. إذا لم يكن لديك إلا المزيج الكامل، فالنسخة ذات الموسيقى الأهدأ تعمل أفضل من الصاخبة.

أقصر مقطع يُحتسب 4 ثوانٍ؛ وأطوله، 5 دقائق، يكلف 1,200 رصيد بدقة 720p. تحتاج مزامنة الشفاه إلى حساب مدفوع: أي خطة (من $19 للشهر الأول في خطة Creator) أو أي باقة رصيد (من $8). يعود رصيد الفيديو الذي يفشل تلقائيًا. كل الخطط في صفحة الأسعار.

• استخدم صورة حادة بوجه واحد ظاهر بوضوح. اللقطات القريبة ونصف الجسم أفضل؛ الوجوه الصغيرة في اللقطات الواسعة لا تعمل جيدًا.
• اترك الفم والذقن ظاهرين: دون يدين أو ميكروفون أو شعر على الشفاه.
• استخدم صوتًا نظيفًا. الضوضاء والموسيقى العالية تقلل دقة حركة الفم.
• اكتب التوجيه جملًا بسيطة عن الحركة فقط، مثل "تبتسم ثم تميل نحو الكاميرا وهي تتكلم". لا تصف ما هو موجود في الصورة أصلًا.
• جرّب جملة قصيرة بدقة 720p قبل توليد لقطة طويلة بدقة 1080p.

استخدم صورتك أنت، أو صورة شخص منحك موافقته، أو شخصية تملك حقوقها، واستخدم فقط أصواتًا وموسيقى يحق لك استخدامها. يطلب منك الموقع تأكيد ذلك لكل صورة جديدة. لا يُسمح بانتحال شخصية أحد، ولا باستخدام صور المشاهير والشخصيات العامة دون إذن، ولا بأي محتوى جنسي أو يتعلق بالقُصّر. التفاصيل في سياسة الاستخدام المقبول (بالإنجليزية).