Neuronske mreže koje stvaraju originalne video zapise na osnovu tekstualnih opisa već postoje. I iako još nisu u stanju potpuno zamijeniti filmaše ili animatore, već postoji napredak u tom smjeru. Disney Research i Rutgers neuronska mreža koja može stvoriti grubu ploču scenarija i video iz tekstualne skripte.
Kao što je navedeno, sistem radi sa prirodnim jezikom, što će mu omogućiti da se koristi u brojnim oblastima, kao što je kreiranje obrazovnih videa. Ovi sistemi će takođe pomoći scenaristima da vizualizuju svoje ideje. Istovremeno, navodi se da nije cilj zamijeniti pisce i umjetnike, već učiniti njihov rad efikasnijim i manje zamornim.
Programeri kažu da prevođenje teksta u animaciju nije lak zadatak jer ulazni i izlazni podaci nemaju fiksnu strukturu. Stoga većina takvih sistema ne može obraditi složene rečenice. Da bi prevazišli ograničenja prethodnih sličnih programa, programeri su izgradili modularnu neuronsku mrežu koja se sastoji od nekoliko komponenti. To uključuje modul za obradu prirodnog jezika, modul za raščlanjivanje skripte i modul koji generiše animaciju.
Za početak, sistem analizira tekst i prevodi složene rečenice u jednostavne. Nakon toga se kreira 3D animacija. Za rad se koristi biblioteka od 52 animirana bloka, čija je lista proširena na 92 dodavanjem sličnih elemenata. Za kreiranje animacije koristi se motor igre Unreal Engine, koji se oslanja na prethodno učitane objekte i modele. Od njih, sistem bira odgovarajuće elemente i generiše video.
Da bi obučili sistem, istraživači su sastavili skup opisa od 996 elemenata uzetih iz više od 1000 skripti iz IMSDb, SimplyScripts i ScriptORama5. Nakon toga, izvršena su kvalitativna testiranja u kojima je 22 učesnika imalo priliku ocijeniti 20 animacija. Istovremeno, 68% je reklo da je sistem kreirao sasvim pristojnu animaciju na osnovu ulaznih tekstova.
Međutim, tim je priznao da sistem nije savršen. Njegova lista radnji i objekata nije iscrpna, a ponekad leksičko pojednostavljenje ne odgovara glagolima sa sličnim animacijama. Istraživači namjeravaju da se pozabave ovim nedostacima u budućem radu.
izvor: 3dnews.ru