Nevronske mreže, ki ustvarjajo izvirne videe na podlagi besedilnih opisov, že obstajajo. In čeprav še ne morejo popolnoma nadomestiti filmskih ustvarjalcev ali animatorjev, je napredek v tej smeri že viden. Disney Research in Rutgers nevronska mreža, ki lahko ustvari grobo snemalno knjigo in video iz besedilnega scenarija.
Kot smo že omenili, sistem deluje z naravnim jezikom, kar bo omogočilo njegovo uporabo na številnih področjih, kot je ustvarjanje izobraževalnih videov. Ti sistemi bodo scenaristom pomagali tudi pri vizualizaciji njihovih idej. Obenem je navedeno, da cilj ni nadomestiti pisateljev in umetnikov, temveč narediti njihovo delo učinkovitejše in manj dolgočasno.
Razvijalci pravijo, da prevajanje besedila v animacijo ni lahka naloga, saj vhodni in izhodni podatki nimajo fiksne strukture. Zato večina takih sistemov ne more obdelati kompleksnih stavkov. Za premagovanje omejitev prejšnjih podobnih programov so razvijalci zgradili modularno nevronsko mrežo, sestavljeno iz več komponent. Ti vključujejo modul za obdelavo naravnega jezika, modul za razčlenjevanje skripta in modul, ki ustvarja animacijo.
Za začetek sistem analizira besedilo in zapletene stavke prevede v preproste. Po tem se ustvari 3D animacija. Za delo se uporablja knjižnica 52 animiranih blokov, katerih seznam je bil razširjen na 92 z dodajanjem podobnih elementov. Za ustvarjanje animacije se uporablja igralni motor Unreal Engine, ki se opira na prednaložene objekte in modele. Iz teh sistem izbere ustrezne elemente in ustvari video.
Za usposabljanje sistema so raziskovalci sestavili nabor opisov 996 elementov, vzetih iz več kot 1000 skriptov iz IMSDb, SimplyScripts in ScriptORama5. Nato so bili izvedeni kvalitativni testi, v katerih je imelo 22 udeležencev možnost oceniti 20 animacij. Hkrati jih je 68% dejalo, da je sistem na podlagi vnesenih besedil ustvaril precej spodobno animacijo.
Vendar pa je ekipa priznala, da sistem ni popoln. Njegov seznam dejanj in predmetov ni izčrpen in včasih se leksikalna poenostavitev ne ujema z glagoli s podobnimi animacijami. Raziskovalci nameravajo odpraviti te pomanjkljivosti v prihodnjem delu.
Vir: 3dnews.ru