Неуронске мреже које креирају оригиналне видео записе на основу текстуалних описа већ постоје. И иако још нису у стању да у потпуности замене филмске ствараоце или аниматоре, већ постоји напредак у овом правцу. Диснеи Ресеарцх и Рутгерс неуронска мрежа која може да направи грубу плочу прича и видео од текстуалног скрипта.
Као што је напоменуто, систем ради са природним језиком, што ће му омогућити да се користи у бројним областима, као што је прављење образовних видео записа. Ови системи ће такође помоћи сценаристима да визуализују своје идеје. Истовремено, наводи се да циљ није да се писци и уметници замене, већ да се њихов рад учини ефикаснијим и мање заморним.
Програмери кажу да превођење текста у анимацију није лак задатак јер улазни и излазни подаци немају фиксну структуру. Због тога већина оваквих система не може да обрађује сложене реченице. Да би превазишли ограничења претходних сличних програма, програмери су изградили модуларну неуронску мрежу која се састоји од неколико компоненти. То укључује модул за обраду природног језика, модул за рашчлањивање скрипте и модул који генерише анимацију.
За почетак, систем анализира текст и преводи сложене реченице у једноставне. Након тога, креира се 3Д анимација. За рад се користи библиотека од 52 анимирана блока, чија је листа проширена на 92 додавањем сличних елемената. За креирање анимације користи се мотор игре Унреал Енгине, који се ослања на претходно учитане објекте и моделе. Од њих, систем бира одговарајуће елементе и генерише видео.
Да би обучили систем, истраживачи су саставили скуп описа од 996 елемената узетих из више од 1000 скрипти из ИМСДб, СимплиСцриптс и СцриптОРама5. Након тога, спроведена су квалитативна тестирања у којима је 22 учесника имало прилику да оцени 20 анимација. Истовремено, 68% је рекло да је систем направио прилично пристојну анимацију на основу улазних текстова.
Међутим, тим је признао да систем није савршен. Његова листа радњи и објеката није исцрпна, а понекад лексичко поједностављење не одговара глаголима са сличним анимацијама. Истраживачи намеравају да се позабаве овим недостацима у будућем раду.
Извор: 3дневс.ру