Jau pastāv neironu tīkli, kas rada oriģinālus video, pamatojoties uz teksta aprakstiem. Un, lai gan viņi vēl nevar pilnībā aizstāt filmu veidotājus vai animatorus, šajā virzienā jau ir progress. Disney Research un Rutgers neironu tīkls, kas var izveidot aptuvenu sižetu un video no teksta skripta.
Kā minēts, sistēma darbojas ar dabisko valodu, kas ļaus to izmantot vairākās jomās, piemēram, veidojot izglītojošus video. Šīs sistēmas arī palīdzēs scenāristiem vizualizēt savas idejas. Vienlaikus tiek norādīts, ka mērķis nav aizstāt rakstniekus un māksliniekus, bet gan padarīt viņu darbu efektīvāku un mazāk nogurdinošu.
Izstrādātāji saka, ka teksta tulkošana animācijā nav viegls uzdevums, jo ievades un izvades datiem nav noteiktas struktūras. Tāpēc lielākā daļa šādu sistēmu nevar apstrādāt sarežģītus teikumus. Lai pārvarētu iepriekšējo līdzīgu programmu ierobežojumus, izstrādātāji izveidoja modulāru neironu tīklu, kas sastāv no vairākiem komponentiem. Tie ietver dabiskās valodas apstrādes moduli, skriptu parsēšanas moduli un moduli, kas ģenerē animāciju.
Sākumā sistēma analizē tekstu un pārvērš sarežģītus teikumus vienkāršos. Pēc tam tiek izveidota 3D animācija. Darbam tiek izmantota 52 animētu bloku bibliotēka, kuru saraksts ir paplašināts līdz 92, pievienojot līdzīgus elementus. Lai izveidotu animāciju, tiek izmantots spēles dzinējs Unreal Engine, kas balstās uz iepriekš ielādētiem objektiem un modeļiem. No tiem sistēma atlasa piemērotus elementus un ģenerē video.
Lai apmācītu sistēmu, pētnieki apkopoja 996 elementu aprakstu kopu, kas ņemti no vairāk nekā 1000 skriptiem no IMSDb, SimplyScripts un ScriptORama5. Pēc tam tika veikti kvalitatīvi testi, kuros 22 dalībniekiem bija iespēja novērtēt 20 animācijas. Tajā pašā laikā 68% teica, ka sistēma izveidoja diezgan pienācīgu animāciju, pamatojoties uz ievades tekstiem.
Tomēr komanda atzina, ka sistēma nav ideāla. Tā darbību un objektu saraksts nav izsmeļošs, un dažreiz leksiskā vienkāršošana neatbilst darbības vārdiem ar līdzīgām animācijām. Pētnieki plāno novērst šos trūkumus turpmākajā darbā.
Avots: 3dnews.ru