Les xarxes neuronals que creen vídeos originals basats en descripcions de text ja existeixen. I tot i que encara no són capaços de substituir completament cineastes o animadors, ja hi ha avenços en aquesta direcció. Disney Research i Rutgers una xarxa neuronal que pot crear un guió i un vídeo a partir d'un guió de text.
Com s'ha assenyalat, el sistema funciona amb llenguatge natural, la qual cosa permetrà utilitzar-lo en diverses àrees, com ara la creació de vídeos educatius. Aquests sistemes també ajudaran els guionistes a visualitzar les seves idees. Al mateix temps, s'afirma que l'objectiu no és substituir escriptors i artistes, sinó fer que la seva feina sigui més eficient i menys tediosa.
Els desenvolupadors diuen que traduir text a animació no és una tasca fàcil perquè les dades d'entrada i sortida no tenen una estructura fixa. Per tant, la majoria d'aquests sistemes no poden processar frases complexes. Per superar les limitacions de programes similars anteriors, els desenvolupadors van construir una xarxa neuronal modular que consta de diversos components. Aquests inclouen un mòdul de processament de llenguatge natural, un mòdul d'anàlisi d'scripts i un mòdul que genera animació.
Per començar, el sistema analitza el text i tradueix frases complexes a simples. Després d'això, es crea una animació 3D. Per treballar, s'utilitza una biblioteca de 52 blocs animats, la llista dels quals s'ha ampliat a 92 afegint elements similars. Per crear animació, s'utilitza el motor de joc Unreal Engine, que es basa en objectes i models precarregats. A partir d'aquests, el sistema selecciona els elements adequats i genera un vídeo.
Per entrenar el sistema, els investigadors van compilar un conjunt de descripcions de 996 elements extrets de més de 1000 scripts d'IMSDb, SimplyScripts i ScriptORama5. Després d'això, es van realitzar proves qualitatives, en les quals 22 participants van tenir l'oportunitat d'avaluar 20 animacions. Al mateix temps, el 68% va dir que el sistema va crear una animació bastant decent basada en els textos d'entrada.
Tanmateix, l'equip va reconèixer que el sistema no és perfecte. La seva llista d'accions i objectes no és exhaustiva i, de vegades, la simplificació lèxica no coincideix amb verbs amb animacions semblants. Els investigadors tenen la intenció d'abordar aquestes mancances en treballs futurs.
Font: 3dnews.ru