Närvivõrgud, mis loovad tekstikirjelduste põhjal originaalvideoid, on juba olemas. Ja kuigi nad ei suuda veel filmitegijaid ega animaatoreid täielikult asendada, on selles suunas juba edusamme. Disney Research ja Rutgers närvivõrk, mis suudab tekstistsenaariumist luua umbkaudse süžeeskeemi ja video.
Nagu märgitud, töötab süsteem loomuliku keelega, mis võimaldab seda kasutada mitmes valdkonnas, näiteks õppevideote loomisel. Need süsteemid aitavad ka stsenaristidel oma ideid visualiseerida. Samas nenditakse, et eesmärk ei ole kirjanikke ja kunstnikke välja vahetada, vaid nende tööd efektiivsemaks ja vähem tüütuks muuta.
Arendajad ütlevad, et teksti tõlkimine animatsiooniks ei ole lihtne ülesanne, kuna sisend- ja väljundandmetel pole kindlat struktuuri. Seetõttu ei suuda enamik selliseid süsteeme keerulisi lauseid töödelda. Varasemate sarnaste programmide piirangute ületamiseks ehitasid arendajad mitmest komponendist koosneva modulaarse närvivõrgu. Nende hulka kuuluvad loomuliku keele töötlemise moodul, skripti parsimise moodul ja moodul, mis genereerib animatsiooni.
Alustuseks analüüsib süsteem teksti ja tõlgib keerulised laused lihtsateks. Pärast seda luuakse 3D-animatsioon. Tööks kasutatakse 52 animeeritud plokist koosnevat teeki, mille loendit laiendati sarnaste elementide lisamisega 92-ni. Animatsiooni loomiseks kasutatakse mängumootorit Unreal Engine, mis tugineb eellaaditud objektidele ja mudelitele. Nende hulgast valib süsteem välja sobivad elemendid ja genereerib video.
Süsteemi koolitamiseks koostasid teadlased 996 elemendi kirjelduste komplekti, mis võeti IMSDb, SimplyScripts ja ScriptORama1000 enam kui 5 skriptist. Seejärel viidi läbi kvalitatiivsed testid, milles 22 osalejal oli võimalus hinnata 20 animatsiooni. Samas ütles 68%, et süsteem lõi sisendtekstide põhjal päris korraliku animatsiooni.
Meeskond tunnistas aga, et süsteem pole täiuslik. Selle toimingute ja objektide loend ei ole ammendav ning mõnikord ei sobi leksikaalne lihtsustamine sarnaste animatsioonidega tegusõnadega. Teadlased kavatsevad tulevases töös neid puudusi käsitleda.
Allikas: 3dnews.ru