Esistono già reti neurali che creano video originali basati su descrizioni testuali. E sebbene non siano ancora in grado di sostituire completamente i registi o gli animatori, si stanno già facendo progressi in questa direzione. Disney Research e Rutgers una rete neurale in grado di creare uno storyboard approssimativo e un video da uno script di testo.
Come notato, il sistema funziona con il linguaggio naturale, che ne consentirà l'utilizzo in numerose aree, come la creazione di video educativi. Questi sistemi aiuteranno anche gli sceneggiatori a visualizzare le loro idee. Allo stesso tempo, si afferma che l’obiettivo non è sostituire scrittori e artisti, ma rendere il loro lavoro più efficiente e meno noioso.
Gli sviluppatori affermano che tradurre il testo in animazione non è un compito facile perché i dati di input e output non hanno una struttura fissa. Pertanto, la maggior parte di questi sistemi non è in grado di elaborare frasi complesse. Per superare i limiti di precedenti programmi simili, gli sviluppatori hanno costruito una rete neurale modulare composta da diversi componenti. Questi includono un modulo di elaborazione del linguaggio naturale, un modulo di analisi degli script e un modulo che genera animazioni.
Per cominciare, il sistema analizza il testo e traduce frasi complesse in frasi semplici. Successivamente, viene creata un'animazione 3D. Per il lavoro viene utilizzata una libreria di 52 blocchi animati, il cui elenco è stato ampliato a 92 aggiungendo elementi simili. Per creare l'animazione viene utilizzato il motore di gioco Unreal Engine, che si basa su oggetti e modelli precaricati. Da questi, il sistema seleziona gli elementi adatti e genera un video.
Per addestrare il sistema, i ricercatori hanno compilato una serie di descrizioni di 996 elementi presi da più di 1000 script di IMSDb, SimplyScripts e ScriptORama5. Successivamente sono stati effettuati test qualitativi in cui 22 partecipanti hanno avuto l'opportunità di valutare 20 animazioni. Allo stesso tempo, il 68% ha affermato che il sistema ha creato un'animazione abbastanza decente basata sui testi di input.
Tuttavia, il team ha riconosciuto che il sistema non è perfetto. Il suo elenco di azioni e oggetti non è esaustivo e talvolta la semplificazione lessicale non corrisponde a verbi con animazioni simili. I ricercatori intendono affrontare queste carenze nel lavoro futuro.
Fonte: 3dnews.ru