Мәтіндік сипаттамаларға негізделген түпнұсқа бейнелерді жасайтын нейрондық желілер бұрыннан бар. Олар әлі режиссерлерді немесе аниматорларды толығымен алмастыра алмаса да, бұл бағытта ілгерілеушілік бар. Disney Research және Rutgers мәтіндік сценарийден өрескел сюжетті және бейнені жасай алатын нейрондық желі.
Атап өткендей, жүйе табиғи тілмен жұмыс істейді, бұл оны оқу бейнелерін жасау сияқты бірқатар салаларда пайдалануға мүмкіндік береді. Бұл жүйелер сценаристерге өз идеяларын бейнелеуге көмектеседі. Бұл ретте жазушылар мен өнер қайраткерлерін алмастыру емес, олардың жұмысын тиімдірек, жалықтыруды азайтуды мақсат ететіндігі айтылады.
Әзірлеушілер мәтінді анимацияға аудару оңай жұмыс емес екенін айтады, себебі кіріс және шығыс деректерінде бекітілген құрылым жоқ. Сондықтан мұндай жүйелердің көпшілігі күрделі сөйлемдерді өңдей алмайды. Бұрынғы ұқсас бағдарламалардың шектеулерін еңсеру үшін әзірлеушілер бірнеше құрамдас бөліктерден тұратын модульдік нейрондық желіні құрды. Оларға табиғи тілді өңдеу модулі, сценарийді талдау модулі және анимация жасайтын модуль кіреді.
Алдымен жүйе мәтінді талдап, күрделі сөйлемдерді жай сөйлемдерге аударады. Осыдан кейін 3D анимация жасалады. Жұмыс үшін 52 анимациялық блоктан тұратын кітапхана пайдаланылады, олардың тізімі ұқсас элементтерді қосу арқылы 92-ге дейін кеңейтілді. Анимация жасау үшін Unreal Engine ойын қозғалтқышы пайдаланылады, ол алдын ала жүктелген нысандар мен үлгілерге сүйенеді. Олардың ішінен жүйе сәйкес элементтерді таңдап, бейнені жасайды.
Жүйені үйрету үшін зерттеушілер IMSDb, SimplyScripts және ScriptORama996-тен 1000-нан астам сценарийден алынған 5 элементтің сипаттамасын құрастырды. Осыдан кейін сапалы сынақтар жүргізілді, онда 22 қатысушы 20 анимацияны бағалауға мүмкіндік алды. Бұл ретте 68% жүйе енгізілген мәтіндер негізінде әбден лайықты анимация жасағанын айтты.
Дегенмен, команда жүйенің мінсіз емес екенін мойындады. Оның әрекеттер мен объектілердің тізімі толық емес, кейде лексикалық жеңілдету ұқсас анимациялары бар етістіктерге сәйкес келмейді. Зерттеушілер алдағы жұмыста осы кемшіліктерді жоюды көздеп отыр.
Ақпарат көзі: 3dnews.ru