Nevrale nettverk som lager originale videoer basert på tekstbeskrivelser finnes allerede. Og selv om de ennå ikke helt er i stand til å erstatte filmskapere eller animatører, er det allerede fremgang i denne retningen. Disney Research og Rutgers et nevralt nettverk som kan lage et grovt storyboard og video fra et tekstmanus.
Som nevnt fungerer systemet med naturlig språk, som gjør at det kan brukes på en rekke områder, for eksempel å lage pedagogiske videoer. Disse systemene vil også hjelpe manusforfattere med å visualisere ideene sine. Samtidig heter det at målet ikke er å erstatte forfattere og kunstnere, men å gjøre arbeidet deres mer effektivt og mindre kjedelig.
Utviklerne sier at det ikke er en lett oppgave å oversette tekst til animasjon fordi inn- og utdataene ikke har en fast struktur. Derfor kan de fleste slike systemer ikke behandle komplekse setninger. For å overvinne begrensningene til tidligere lignende programmer, bygde utviklerne et modulært nevralt nettverk bestående av flere komponenter. Disse inkluderer en naturlig språkbehandlingsmodul, en skriptparsingmodul og en modul som genererer animasjon.
Til å begynne med analyserer systemet teksten og oversetter komplekse setninger til enkle. Etter dette lages en 3D-animasjon. For arbeid brukes et bibliotek med 52 animerte blokker, listen over disse ble utvidet til 92 ved å legge til lignende elementer. For å lage animasjon brukes Unreal Engine-spillmotoren, som er avhengig av forhåndslastede objekter og modeller. Fra disse velger systemet passende elementer og genererer en video.
For å trene systemet, kompilerte forskerne et sett med beskrivelser av 996 elementer hentet fra mer enn 1000 skript fra IMSDb, SimplyScripts og ScriptORama5. Etter dette ble det gjennomført kvalitative tester, hvor 22 deltakere fikk anledning til å vurdere 20 animasjoner. Samtidig sa 68 % at systemet skapte ganske grei animasjon basert på inputtekstene.
Teamet erkjente imidlertid at systemet ikke er perfekt. Listen over handlinger og objekter er ikke uttømmende, og noen ganger samsvarer ikke leksikalsk forenkling verb med lignende animasjoner. Forskerne har til hensikt å ta tak i disse manglene i fremtidig arbeid.
Kilde: 3dnews.ru