الشبكات العصبية التي تنشئ مقاطع فيديو أصلية بناءً على الأوصاف النصية موجودة بالفعل. وعلى الرغم من أنهم لم يتمكنوا بعد من استبدال صانعي الأفلام أو رسامي الرسوم المتحركة بشكل كامل، إلا أن هناك تقدمًا بالفعل في هذا الاتجاه. أبحاث ديزني وروتجرز شبكة عصبية يمكنها إنشاء قصة مصورة تقريبية وفيديو من نص نصي.
وكما ذكرنا، يعمل النظام باللغة الطبيعية، مما سيسمح باستخدامه في عدد من المجالات، مثل إنشاء مقاطع فيديو تعليمية. ستساعد هذه الأنظمة أيضًا كتاب السيناريو على تصور أفكارهم. وفي الوقت نفسه، يُذكر أن الهدف ليس استبدال الكتاب والفنانين، بل جعل عملهم أكثر كفاءة وأقل إرهاقًا.
يقول المطورون أن ترجمة النص إلى رسوم متحركة ليست مهمة سهلة لأن بيانات الإدخال والإخراج ليس لها بنية ثابتة. ولذلك، فإن معظم هذه الأنظمة لا يمكنها معالجة الجمل المعقدة. للتغلب على القيود المفروضة على البرامج المماثلة السابقة، قام المطورون ببناء شبكة عصبية معيارية تتكون من عدة مكونات. يتضمن ذلك وحدة معالجة اللغة الطبيعية، ووحدة تحليل البرنامج النصي، ووحدة تولد الرسوم المتحركة.
في البداية، يقوم النظام بتحليل النص وترجمة الجمل المعقدة إلى جمل بسيطة. بعد ذلك، يتم إنشاء الرسوم المتحركة ثلاثية الأبعاد. للعمل، يتم استخدام مكتبة مكونة من 3 كتلة متحركة، وتم توسيع القائمة إلى 52 عن طريق إضافة عناصر مماثلة. لإنشاء الرسوم المتحركة، يتم استخدام محرك اللعبة Unreal Engine، والذي يعتمد على الكائنات والنماذج المحملة مسبقًا. ومن هذه العناصر، يختار النظام العناصر المناسبة وينشئ مقطع فيديو.
لتدريب النظام، قام الباحثون بتجميع مجموعة من الأوصاف لـ 996 عنصرًا مأخوذة من أكثر من 1000 نص من IMSDb وSimplyScripts وScriptORama5. بعد ذلك، تم إجراء اختبارات نوعية، حيث أتيحت الفرصة لـ 22 مشاركًا لتقييم 20 رسمًا متحركًا. في الوقت نفسه، قال 68% أن النظام أنشأ رسومًا متحركة جيدة جدًا بناءً على نصوص الإدخال.
ومع ذلك، أقر الفريق بأن النظام ليس مثاليًا. قائمة الإجراءات والأشياء الخاصة به ليست شاملة، وفي بعض الأحيان لا يطابق التبسيط المعجمي الأفعال مع الرسوم المتحركة المماثلة. ويعتزم الباحثون معالجة أوجه القصور هذه في العمل المستقبلي.
المصدر: 3dnews.ru