توليد الفيديو بالذكاء الاصطناعي متعدد المدخلات: دليل شامل

المرحلة التالية من فيديو الذكاء الاصطناعي لا تتعلق بتحسين الأوامر النصية، بل بتحسين المدخلات. على مدى عامين، ركّزت الصناعة على رافعة واحدة: الأمر النصي. وهذه الرافعة باتت تقترب من حدودها. الاختراق الحقيقي يكمن في قبول مدخلات أكثر ثراءً: صور وقصاصات فيديو وملفات صوتية ومزيج من الثلاثة معاً.

Seedance 2.0 Reference هو نموذج فيديو الذكاء الاصطناعي الأكثر شمولاً من حيث تعدد المدخلات المتاح حالياً، وهذا هو الدليل الكامل لاستخدام كل نوع من أنواع المدخلات معاً.

ملخص سريع

• المدخلات المتعددة = نص + حتى 9 صور + حتى 3 مقاطع فيديو + حتى 3 مقاطع صوتية
• كل نوع من المدخلات يتحكم في أبعاد مختلفة من المخرجات (الأسلوب، الحركة، المزاج)
• تُدمج جميعها في عملية توليد واحدة بسعر 0.3024 دولار/ثانية
• وقت التوليد: 60-180 ثانية بغض النظر عن عدد المدخلات
• الأسلوب الأكثر فاعلية للحصول على مخرجات فيديو دقيقة من الذكاء الاصطناعي
• جرّب المجموعة الكاملة متعددة المدخلات مجاناً

لماذا تهم المدخلات المتعددة

النص معلومات بصرية مضغوطة. حين تكتب «كئيب، دافئ، سينمائي»، فأنت تأخذ مفهوماً بصرياً غنياً وتضغطه بشكل مُفقِد للمعلومات في سبع مقاطع صوتية. يضطر النموذج بعد ذلك إلى إعادة توسيع هذه المقاطع السبعة إلى مرئيات، وعملية إعادة التوسيع هذه تُفقد معلومات.

المدخلات المتعددة تتجاوز خطوة الضغط هذه. بدلاً من وصف أسلوبك بالكلمات، تُظهره مباشرةً. بدلاً من وصف الحركة، تُظهرها. بدلاً من وصف المزاج، تُظهره. يقرأ النموذج مدخلاتك بكامل دقتها.

النتيجة هي مخرجات تُصيب الهدف بدقة أكبر، من أول محاولة، دون الحاجة إلى تكرار تعديل الأوامر النصية.

أنواع المدخلات الأربعة

1. الأمر النصي (مطلوب). الشيء الوحيد الذي يجب أن يفعله النص في سير عمل المدخلات المتعددة: وصف الموضوع والحدث. اترك الأسلوب والمزاج والحركة للمدخلات الأخرى.

2. الصور المرجعية (حتى 9 صور). المدخل الأساسي للأسلوب. تغطي الألوان والإضاءة والتكوين والحبيبية والملمس.

3. مقاطع الفيديو المرجعية (حتى 3 مقاطع). مدخل الحركة. يلتقط حركات الكاميرا وإيقاع التصوير وإيقاع الحدث.

4. المقاطع الصوتية المرجعية (حتى 3 مقاطع). مدخل المزاج. يؤثر على المخرجات البصرية عاطفياً، لا من خلال المسار الصوتي الفعلي للمخرج.

معاً، تمنحك هذه المدخلات تحكماً في كل أبعاد المخرجات دون الاعتماد على النص وحده للقيام بكل شيء.

كيف يعمل الدمج

خلف الكواليس، يعالج Seedance 2.0 Reference كل نوع من أنواع المدخلات عبر مشفرات مخصصة ويدمج النتائج في إشارة تكييف واحدة. يمر الأمر النصي عبر مشفر نصي، والصور عبر مشفر صور، والفيديو عبر مشفر حركة، والصوت عبر مشفر مزاج صوتي.

تُستخدم إشارة التكييف المدمجة بعد ذلك لتوجيه عملية توليد الفيديو. لن ترى أياً من هذا، ستشاهد فقط المدخلات تدخل والفيديو يخرج. لكن فهم عملية الدمج يساعدك على التفكير في أي المدخلات يجب أن تُعطيها وزناً أكبر.

ترتيب الأوزان التقريبي:

• النص: تأثير قوي على الموضوع والحدث
• الصور: تأثير قوي على الأسلوب البصري
• الفيديو: تأثير قوي على الحركة
• الصوت: تأثير خفي على المزاج البصري

غياب أحد أنواع المدخلات لا يُعطّل عملية التوليد. يترك ذلك البُعد فقط للسلوك الافتراضي، وهو ما يكون مناسباً في الغالب للأعمال الأبسط.

شغّل أول عملية توليد متعددة المدخلات. ارفع الأنواع الثلاثة من المدخلات وشاهد الدقة بنفسك. ابدأ مجاناً.

مثال كامل على المدخلات المتعددة

إليك عملية توليد تستخدم كل أنواع المدخلات.

الأمر النصي:

امرأة ترتدي سترة جلدية تجلس على دراجة نارية في
زقاق مضاء بأضواء النيون ليلاً، الكاميرا تتقدم ببطء، 8 ثوانٍ

الصور المرجعية (7 صور):

• 3 لقطات ثابتة من Blade Runner (الألوان، الإضاءة)
• 2 صورة تصوير فوتوغرافي سايبربانك (التكوين، الحبيبية)
• 1 صورة منتج للدراجة النارية (وضعية الموضوع)
• 1 إطار رئيسي (الهدف العام للأجواء)

مرجع الفيديو (1 مقطع):

• مقطع مدته 3 ثوانٍ لتقدم بطيء بالكاميرا نحو موضوع ما

المرجع الصوتي (1 مقطع):

• مقطع مدته 5 ثوانٍ لنغمة سينث مع صوت مطر خفيف

النتيجة:

• الأسلوب: مستوحى بشدة من Blade Runner، مُثبَّت بالصور
• الحركة: تطابق مرجع التقدم بالكاميرا بدقة
• المزاج: أجواء مشبعة بالمطر بشكل خفي من الإشارة الصوتية

إجمالي المدخلات: 7 صور + 1 فيديو + 1 صوت + 1 أمر نصي. وقت التوليد: ~120 ثانية. المخرج: بالضبط ما أردته من أول محاولة.

قارن ذلك بسير العمل القائم على النص فقط، حيث يستغرق الأمر في الغالب 5-10 محاولات توليد للاقتراب من المظهر المقصود. المدخلات المتعددة توفر عليك تكلفة التكرار وتُطابق النية بدقة أكبر.

متى تُضيف كل نوع من المدخلات

لا تحتاج دائماً إلى الأنواع الأربعة. إليك متى يُضيف كل منها قيمة.

النص فقط: لا تفعل ذلك أبداً. تحتاج دائماً إلى نوع مرجعي واحد على الأقل في وضع Reference.

النص + الصور: الإعداد الأكثر شيوعاً. يناسب 70% من المشاريع.

النص + الصور + الفيديو: حين تحتاج إلى حركة محددة يصعب وصفها.

النص + الصور + الصوت: حين يحتاج المزاج إلى تحول يتجاوز ما تستطيع الصور وحدها التعبير عنه.

الأربعة معاً: حين تكون الدقة القصوى مهمة، كأعمال العلامات التجارية واللقطات الرئيسية والمخرجات النهائية.

ابدأ بالنص والصور وأضف مدخلات أخرى حين تصطدم بحدود هذا الإعداد.

سير عمل المدخلات المتعددة لحالات استخدام مختلفة

لمقاطع الفيديو الترويجية: نص + 6-9 صور للعلامة التجارية + 1-2 مرجع حركة يُظهر أسلوب الكاميرا المميز لك. تجاهل المراجع الصوتية ما لم يكن لديك هدف مزاجي محدد.

لمقاطع الفيديو الموسيقية: نص + 6-9 صور أسلوبية + 1 مرجع صوتي يتطابق مع مزاج الأغنية. المراجع المرئية اختيارية.

للقصص المصورة: نص + 4-6 صور فن مفاهيمي + 1 مرجع حركة لكل نوع لقطة. تجاهل الصوت.

لإطلاق المنتجات: نص + 5-7 صور للمنتج + 1 مرجع حركة لأسلوب الحياة أو العلامة التجارية. تجاهل الصوت ما لم يكن للمنتج ارتباطات مزاجية.

للمحتوى التحريري والأزياء: نص + 6-9 صور من كتالوج الأزياء + 1 مرجع حركة للمشي أو الوضعيات. تجاهل الصوت ما لم يكن للتصوير موسيقى مصاحبة.

اعتبارات التكلفة والسرعة

تكلفة عمليات التوليد متعددة المدخلات هي نفسها لكل ثانية مقارنةً بعمليات التوليد أحادية المدخل: 0.3024 دولار لكل ثانية من المخرج. إضافة أنواع المراجع لا تزيد التكلفة.

السرعة: تستغرق عمليات التوليد متعددة المدخلات وقتاً أطول قليلاً من تلك القائمة على النص فقط، لأن النموذج يعالج كميات أكبر من بيانات المدخلات. توقع 90-180 ثانية لطلبات المدخلات المتعددة مقابل 60-120 ثانية للطلبات القائمة على الصور فقط. الانتظار الإضافي يستحق دائماً تقريباً مقابل الدقة المكتسبة.

الأخطاء الشائعة في المدخلات المتعددة

تناقض المدخلات. إذا كانت صورك تقول «كئيب وبطيء» وصوتك يقول «نشيط وسريع»، يصاب الدمج بالارتباك. اختر مدخلات تتفق على المزاج.

استخدام مراجع الفيديو للأسلوب. مراجع الفيديو تؤثر على الحركة فقط، لا على الأسلوب. لا تختارها بناءً على مظهرها البصري.

الإفراط في المراجع الصوتية. مرجع أو مرجعان صوتيان يكفيان في الغالب. ثلاثة مراجع قد تُضعف إشارة المزاج.

تجاهل الأمر النصي. حتى مع وجود مراجع قوية، تحتاج إلى أمر نصي للموضوع والحدث. أمر نصي فارغ سينتج محتوى عاماً.

تغيير المدخلات بين المقاطع في سلسلة. إذا كنت تنتج مقاطع متعددة يجب أن تبدو متماسكة، استخدم حزم مراجع متطابقة عبرها جميعاً.

مقارنة المدخلات المتعددة بالمدخل الواحد

إليك مقارنة جانبية أجريتها على نفس السيناريو.

السيناريو: مقطع قصير يصوّر شارعاً مدينياً مبللاً بالمطر ليلاً.

المحاولة بالنص فقط:

لقطة جوية لشارع مديني مبلل بالمطر ليلاً، انعكاسات النيون،
إضاءة سينمائية كئيبة، تقدم بطيء للكاميرا، 5 ثوانٍ

النتيجة: لائقة لكنها عامة. يمكن أن تكون أي مقطع ذكاء اصطناعي بأسلوب نوار. حصلت عليها في المحاولة الرابعة بعد تعديل الأمر النصي.

المحاولة بالمدخلات المتعددة:

• نفس الأمر النصي مجرداً من لغة الأسلوب
• 6 لقطات ثابتة من Blade Runner
• 1 مرجع فيديو لتقدم الكاميرا
• 1 مرجع صوتي سينث ممطر

النتيجة: محددة ومثبتة، تطابقت مع الأجواء التي أردتها من أول محاولة.

توفير الوقت: ~8 دقائق من التكرار تم التخلص منها. توفير التكلفة: 3 محاولات توليد أقل بـ ~3 دولارات لكل منها = ~9 دولارات موفرة.

اضرب ذلك في مشروع يحتوي على أكثر من 20 مقطعاً وستجد أن سير عمل المدخلات المتعددة يُعوّض تكلفتها أضعافاً مضاعفة.

المدخلات المتعددة مقابل Seedance 2.0 القياسي

تجدر الإشارة إلى أن Seedance 2.0 القياسي هو نموذج قوي للتحويل من نص إلى فيديو ومن صورة إلى فيديو. إنه أحادي المدخل. إذا كنت تحتاج فقط إلى أمر نصي وصورة واحدة، فالنموذج القياسي أسرع في الإعداد.

المدخلات المتعددة مع Seedance 2.0 Reference مخصصة لحين تكون الدقة أهم من سرعة الإعداد. راجع مقارنة بين Reference والإصدار القياسي الكامل للاطلاع على إطار اتخاذ القرار.

نصائح لإعداد المدخلات

الصور: 512 بكسل أو أكثر على الحافة القصيرة، بصيغة JPG أو PNG، ويُفضَّل أن تكون من مصدر أسلوبي متسق.

الفيديو: 2-5 ثوانٍ لكل مقطع، أي نسبة عرض إلى ارتفاع، يُفضَّل MP4.

الصوت: 4-10 ثوانٍ لكل مقطع، بصيغة MP3 أو WAV، يتطابق مع المزاج المستهدف.

لا تُعقّد إعداد المدخلات أكثر من اللازم. النموذج متسامح إلى حد بعيد مع الدقة والصيغة وحجم الملف. ما يهم هو ملاءمة المحتوى، لا الكمال التقني.

بناء مكتبة مدخلات متعددة

يبني المستخدمون المتقدمون مكتبة شخصية من المدخلات القابلة لإعادة الاستخدام:

• حزم الأسلوب لأنواع وأمزجة مختلفة (نوار، ريفي، ملحمي، إلخ)
• مقاطع الحركة لحركات الكاميرا الشائعة (تقدم بالعربة، يدوي، ثابت، إلخ)
• الإشارات الصوتية للنبرات العاطفية (حزين، متفائل، متوتر، إلخ)

مع وجود مكتبة، يصبح بدء مشروع جديد مجرد دمج مدخلات موجودة بدلاً من البحث عن كل شيء من الصفر. تطور «صوتاً» خاصاً بك، أسلوباً مميزاً يمتد عبر أعمالك لأن مدخلاتك متسقة.

للمزيد

للتعمق العملي في التوليد متعدد الوسائط، اقرأ فيديو الذكاء الاصطناعي متعدد الوسائط. للاطلاع على سير العمل الخاص بالصور، راجع درس تعليمي متعدد الصور. للاطلاع على الصورة الكاملة لميزات النموذج، الدليل الكامل لـ Seedance 2.0 Reference هو القراءة المناسبة.

المدخلات المتعددة هي الطريقة التي يصبح بها فيديو الذكاء الاصطناعي دقيقاً. تعلّم سير العمل مرة واحدة وستقفز جودة مخرجاتك بشكل دائم.