E rete neurali chì creanu video originali basati nantu à e descrizioni di testu esistenu digià. È ancu s'ellu ùn sò ancu capaci di rimpiazzà cumplettamente i cineasti o l'animatori, ci hè digià un prugressu in questa direzzione. Disney Research è Rutgers una rete neurale chì pò creà un storyboard rough è video da un script di testu.
Comu nutatu, u sistema travaglia cù lingua naturale, chì permetterà à esse usatu in una quantità di spazii, cum'è a creazione di video educativi. Questi sistemi aiutanu ancu i scrittori à visualizà e so idee. À u listessu tempu, hè dichjaratu chì u scopu ùn hè micca di rimpiazzà i scrittori è l'artisti, ma per fà u so travagliu più efficace è menu tedious.
I sviluppatori dicenu chì a traduzzione di testu in animazione ùn hè micca un compitu faciule perchè e dati di input è output ùn anu micca una struttura fissa. Dunque, a maiò parte di tali sistemi ùn ponu micca processà sentenzi cumplessi. Per superà e limitazioni di i prugrammi simili precedenti, i sviluppatori anu custruitu una rete neuronale modulare composta da parechji cumpunenti. Questi includenu un modulu di trasfurmazioni di lingua naturale, un modulu di script parsing, è un modulu chì genera animazione.
Per principià, u sistema analizà u testu è traduce frasi cumplessi in simplici. Dopu questu, una animazione 3D hè creata. Per u travagliu, hè aduprata una biblioteca di 52 blocchi animati, a lista di quale hè stata allargata à 92 aghjunghjendu elementi simili. Per creà animazione, hè utilizatu u mutore di ghjocu Unreal Engine, chì si basa nantu à l'uggetti è mudelli precaricati. Da queste, u sistema selezziunà elementi adattati è genera un video.
Per furmà u sistema, i circadori anu compilatu un inseme di descrizzioni di 996 elementi pigliati da più di 1000 5 script da IMSDb, SimplyScripts è ScriptORama22. Dopu questu, teste qualitative sò state realizate, in quale 20 participanti anu avutu l'uppurtunità di evaluà 68 animazioni. À u listessu tempu, u XNUMX% hà dettu chì u sistema hà creatu animazione abbastanza decente basatu nantu à i testi di input.
Tuttavia, a squadra hà ricunnisciutu chì u sistema ùn hè micca perfettu. A so lista di l'azzioni è l'uggetti ùn hè micca exhaustiva, è qualchì volta a simplificazione lessicale ùn currisponde à verbi cù animazioni simili. I circadori intendenu affruntà queste carenze in u travagliu futuru.
Source: 3dnews.ru