Rețele neuronale care creează videoclipuri originale pe baza descrierilor de text există deja. Și deși nu sunt încă capabili să înlocuiască complet regizorii sau animatorii, există deja progrese în această direcție. Disney Research și Rutgers o rețea neuronală care poate crea un scenariu brut și un videoclip dintr-un scenariu text.
După cum sa menționat, sistemul funcționează cu limbaj natural, ceea ce îi va permite să fie utilizat într-o serie de domenii, cum ar fi crearea de videoclipuri educaționale. Aceste sisteme îi vor ajuta și pe scenariști să-și vizualizeze ideile. În același timp, se afirmă că scopul nu este înlocuirea scriitorilor și artiștilor, ci a le face munca mai eficientă și mai puțin plictisitoare.
Dezvoltatorii spun că traducerea textului în animație nu este o sarcină ușoară, deoarece datele de intrare și de ieșire nu au o structură fixă. Prin urmare, majoritatea acestor sisteme nu pot procesa propoziții complexe. Pentru a depăși limitările programelor similare anterioare, dezvoltatorii au construit o rețea neuronală modulară constând din mai multe componente. Acestea includ un modul de procesare a limbajului natural, un modul de analiză a scripturilor și un modul care generează animație.
Pentru început, sistemul analizează textul și traduce propoziții complexe în propoziții simple. După aceasta, este creată o animație 3D. Pentru lucru, se folosește o bibliotecă de 52 de blocuri animate, a căror listă a fost extinsă la 92 prin adăugarea de elemente similare. Pentru a crea animație, se folosește motorul de joc Unreal Engine, care se bazează pe obiecte și modele preîncărcate. Dintre acestea, sistemul selectează elementele potrivite și generează un videoclip.
Pentru a antrena sistemul, cercetătorii au compilat un set de descrieri a 996 de elemente preluate din peste 1000 de scripturi de la IMSDb, SimplyScripts și ScriptORama5. După aceasta, au fost efectuate teste calitative, în care 22 de participanți au avut ocazia să evalueze 20 de animații. În același timp, 68% au spus că sistemul a creat o animație destul de decentă pe baza textelor introduse.
Cu toate acestea, echipa a recunoscut că sistemul nu este perfect. Lista sa de acțiuni și obiecte nu este exhaustivă și, uneori, simplificarea lexicală nu corespunde verbelor cu animații similare. Cercetătorii intenționează să abordeze aceste deficiențe în lucrările viitoare.
Sursa: 3dnews.ru