شبکه‌های عصبی که ویدیوهای اصلی را بر اساس توضیحات متنی ایجاد می‌کنند، از قبل وجود دارند. و اگرچه هنوز قادر به جایگزینی کامل فیلمسازان یا انیماتورها نیستند، در حال حاضر پیشرفت هایی در این مسیر وجود دارد. تحقیقات دیزنی و راتگرز یک شبکه عصبی که می‌تواند یک استوری‌بورد و ویدئوی خشن را از یک متن متنی ایجاد کند.
همانطور که اشاره شد، این سیستم با زبان طبیعی کار می کند که به آن امکان می دهد در تعدادی از زمینه ها مانند ایجاد فیلم های آموزشی استفاده شود. این سیستم ها همچنین به فیلمنامه نویسان کمک می کنند تا ایده های خود را تجسم کنند. در عین حال گفته می شود که هدف جایگزینی نویسندگان و هنرمندان نیست، بلکه کارایی بیشتر و کم طاقت فرسا شدن کار آنهاست.
توسعه دهندگان می گویند که ترجمه متن به انیمیشن کار آسانی نیست زیرا داده های ورودی و خروجی ساختار ثابتی ندارند. بنابراین، اکثر چنین سیستم هایی نمی توانند جملات پیچیده را پردازش کنند. برای غلبه بر محدودیت های برنامه های مشابه قبلی، توسعه دهندگان یک شبکه عصبی مدولار متشکل از چندین مؤلفه ساختند. اینها شامل یک ماژول پردازش زبان طبیعی، یک ماژول تجزیه اسکریپت، و یک ماژول است که انیمیشن تولید می کند.
برای شروع، سیستم متن را تجزیه و تحلیل می کند و جملات پیچیده را به جملات ساده ترجمه می کند. پس از این، یک انیمیشن سه بعدی ساخته می شود. برای کار از کتابخانه ای از 3 بلوک متحرک استفاده می شود که با افزودن عناصر مشابه لیست آنها به 52 افزایش یافت. برای ساخت انیمیشن از موتور بازی سازی Unreal Engine استفاده می شود که بر روی اشیاء و مدل های از پیش بارگذاری شده متکی است. از بین آنها، سیستم عناصر مناسب را انتخاب کرده و یک ویدیو تولید می کند.
برای آموزش این سیستم، محققان مجموعه ای از توصیفات از 996 عنصر برگرفته از بیش از 1000 اسکریپت از IMSDb، SimplyScripts و ScriptORama5 را گردآوری کردند. پس از آن، آزمون های کیفی انجام شد که در آن 22 شرکت کننده فرصت ارزیابی 20 انیمیشن را داشتند. در همان زمان، 68٪ گفتند که این سیستم بر اساس متون ورودی انیمیشن کاملا مناسبی ایجاد کرده است.
با این حال، تیم اذعان کرد که سیستم کامل نیست. فهرست اعمال و اشیاء آن جامع نیست و گاهی اوقات ساده سازی واژگانی با افعال با انیمیشن های مشابه مطابقت ندارد. محققان در نظر دارند در کارهای آتی به رفع این کاستی ها بپردازند.
منبع: 3dnews.ru