Jau egzistuoja neuroniniai tinklai, kuriantys originalius vaizdo įrašus pagal tekstinius aprašymus. Ir nors jie dar negali visiškai pakeisti filmų kūrėjų ar animatorių, pažanga šia kryptimi jau yra. „Disney Research“ ir „Rutgers“. neuroninis tinklas, galintis sukurti apytikslę siužetinę liniją ir vaizdo įrašą iš teksto scenarijaus.
Kaip minėta, sistema veikia natūralia kalba, todėl ją bus galima naudoti daugelyje sričių, pavyzdžiui, kuriant mokomuosius vaizdo įrašus. Šios sistemos taip pat padės scenaristams įsivaizduoti savo idėjas. Kartu teigiama, kad siekiama ne pakeisti rašytojus ir menininkus, o padaryti jų darbą efektyvesnį ir mažiau varginantį.
Kūrėjai teigia, kad teksto vertimas į animaciją nėra lengva užduotis, nes įvesties ir išvesties duomenys neturi fiksuotos struktūros. Todėl dauguma tokių sistemų negali apdoroti sudėtingų sakinių. Norėdami įveikti ankstesnių panašių programų apribojimus, kūrėjai sukūrė modulinį neuroninį tinklą, susidedantį iš kelių komponentų. Tai apima natūralios kalbos apdorojimo modulį, scenarijų analizavimo modulį ir modulį, kuris generuoja animaciją.
Pirmiausia sistema analizuoja tekstą ir sudėtingus sakinius paverčia paprastais. Po to sukuriama 3D animacija. Darbui naudojama 52 animuotų blokų biblioteka, kurios sąrašas buvo išplėstas iki 92 pridedant panašių elementų. Animacijai sukurti naudojamas Unreal Engine žaidimo variklis, kuris remiasi iš anksto įkeltais objektais ir modeliais. Iš jų sistema parenka tinkamus elementus ir sukuria vaizdo įrašą.
Norėdami išmokyti sistemą, mokslininkai sudarė 996 elementų aprašymų rinkinį, paimtą iš daugiau nei 1000 scenarijų iš IMSDb, SimplyScripts ir ScriptORama5. Po to buvo atlikti kokybiniai testai, kuriuose 22 dalyviai turėjo galimybę įvertinti 20 animacijų. Tuo pačiu metu 68% teigė, kad sistema sukūrė gana neblogą animaciją pagal įvesties tekstus.
Tačiau komanda pripažino, kad sistema nėra tobula. Jo veiksmų ir objektų sąrašas nėra baigtinis, o kartais leksinis supaprastinimas neatitinka veiksmažodžių su panašiomis animacijomis. Tyrėjai ketina pašalinti šiuos trūkumus būsimame darbe.
Šaltinis: 3dnews.ru