Вештачката интелигенција на Дизни создава цртани филмови врз основа на описи на текст

Веќе постојат невронски мрежи кои создаваат оригинални видеа врз основа на описи на текст. И иако сè уште не се во можност целосно да ги заменат филмаџиите или аниматорите, веќе има напредок во оваа насока. Дизни Истражување и Рутгерс развиена невронска мрежа која може да создаде груба приказна и видео од текстуална скрипта.

Како што е наведено, системот работи со природен јазик, што ќе му овозможи да се користи во голем број области, како што е создавање на едукативни видеа. Овие системи ќе им помогнат и на сценаристите да ги визуелизираат своите идеи. Истовремено, се наведува дека целта не е да се заменат писателите и уметниците, туку нивната работа да биде поефикасна и помалку мачна.

Програмерите велат дека преведувањето текст во анимација не е лесна задача бидејќи влезните и излезните податоци немаат фиксна структура. Затоа, повеќето такви системи не можат да обработуваат сложени реченици. За да се надминат ограничувањата на претходните слични програми, програмерите изградија модуларна невронска мрежа составена од неколку компоненти. Тие вклучуваат модул за обработка на природен јазик, модул за парсирање на скрипти и модул што генерира анимација.

За почеток, системот го анализира текстот и ги преведува сложените реченици во едноставни. После ова се креира 3Д анимација. За работа се користи библиотека од 52 анимирани блокови, чиј список е проширен на 92 со додавање слични елементи. За да се создаде анимација, се користи моторот за игри Unreal Engine, кој се потпира на претходно поставени објекти и модели. Од нив, системот избира соодветни елементи и генерира видео.

За да го обучат системот, истражувачите составија збир на описи на 996 елементи земени од повеќе од 1000 скрипти од IMSDb, SimplyScripts и ScriptORama5. По ова беа спроведени квалитативни тестови на кои 22 учесници имаа можност да оценат 20 анимации. Во исто време, 68% рекле дека системот создал прилично пристојна анимација врз основа на внесените текстови.

Сепак, тимот призна дека системот не е совршен. Нејзиниот список на дејства и предмети не е исцрпен, а понекогаш и лексичкото поедноставување не се совпаѓа со глаголите со слични анимации. Истражувачите имаат намера да ги решат овие недостатоци во идната работа.

Извор: 3dnews.ru