Neurale netværk, der skaber originale videoer baseret på tekstbeskrivelser, findes allerede. Og selvom de endnu ikke helt er i stand til at erstatte filmskabere eller animatorer, er der allerede fremskridt i denne retning. Disney Research og Rutgers et neuralt netværk, der kan skabe et groft storyboard og video ud fra et tekstscript.
Som nævnt arbejder systemet med naturligt sprog, hvilket gør det muligt at bruge det på en række områder, såsom at lave undervisningsvideoer. Disse systemer vil også hjælpe manuskriptforfattere med at visualisere deres ideer. Samtidig slås det fast, at målet ikke er at erstatte forfattere og kunstnere, men at gøre deres arbejde mere effektivt og mindre kedeligt.
Udviklerne siger, at det ikke er en nem opgave at oversætte tekst til animation, fordi input- og outputdata ikke har en fast struktur. Derfor kan de fleste sådanne systemer ikke behandle komplekse sætninger. For at overvinde begrænsningerne ved tidligere lignende programmer byggede udviklerne et modulært neuralt netværk bestående af flere komponenter. Disse omfatter et naturligt sprogbehandlingsmodul, et script-parsing-modul og et modul, der genererer animation.
Til at begynde med analyserer systemet teksten og oversætter komplekse sætninger til simple. Herefter laves en 3D-animation. Til arbejde bruges et bibliotek med 52 animerede blokke, hvis liste blev udvidet til 92 ved at tilføje lignende elementer. For at skabe animation bruges Unreal Engine-spilmotoren, som er afhængig af forudindlæste objekter og modeller. Ud fra disse udvælger systemet passende elementer og genererer en video.
For at træne systemet kompilerede forskerne et sæt beskrivelser af 996 elementer taget fra mere end 1000 scripts fra IMSDb, SimplyScripts og ScriptORama5. Herefter blev der gennemført kvalitative test, hvor 22 deltagere havde mulighed for at vurdere 20 animationer. Samtidig sagde 68 %, at systemet skabte ganske anstændig animation baseret på inputteksterne.
Teamet erkendte dog, at systemet ikke er perfekt. Dens liste over handlinger og objekter er ikke udtømmende, og nogle gange matcher leksikalsk forenkling ikke verber med lignende animationer. Forskerne har til hensigt at løse disse mangler i det fremtidige arbejde.
Kilde: 3dnews.ru