Neuronové sítě, které vytvářejí originální videa na základě textových popisů, již existují. A ačkoliv zatím nedokážou zcela nahradit filmaře či animátory, pokrok v tomto směru už je vidět. Disney Research a Rutgers neuronová síť, která dokáže z textového scénáře vytvořit hrubý storyboard a video.
Jak bylo poznamenáno, systém pracuje s přirozeným jazykem, což umožní jeho využití v řadě oblastí, jako je například tvorba výukových videí. Tyto systémy také pomohou scénáristům vizualizovat jejich nápady. Zároveň se uvádí, že cílem není nahrazovat spisovatele a umělce, ale zefektivnit a zefektivnit jejich práci.
Vývojáři říkají, že překlad textu do animace není snadný úkol, protože vstupní a výstupní data nemají pevnou strukturu. Proto většina takových systémů nedokáže zpracovat složité věty. Aby vývojáři překonali omezení předchozích podobných programů, postavili modulární neuronovou síť skládající se z několika komponent. Patří mezi ně modul zpracování přirozeného jazyka, modul analýzy skriptů a modul generující animaci.
Nejprve systém analyzuje text a převede složité věty na jednoduché. Poté se vytvoří 3D animace. Pro práci se používá knihovna 52 animovaných bloků, jejichž seznam byl přidáním podobných prvků rozšířen na 92. K vytvoření animace se používá herní engine Unreal Engine, který se opírá o předinstalované objekty a modely. Z nich systém vybere vhodné prvky a vygeneruje video.
Pro trénování systému výzkumníci sestavili soubor popisů 996 prvků převzatých z více než 1000 skriptů z IMSDb, SimplyScripts a ScriptORama5. Poté byly provedeny kvalitativní testy, ve kterých mělo 22 účastníků možnost ohodnotit 20 animací. 68 % přitom uvedlo, že systém na základě vstupních textů vytvořil celkem slušnou animaci.
Tým však uznal, že systém není dokonalý. Jeho seznam akcí a objektů není vyčerpávající a někdy lexikální zjednodušení neodpovídá slovesům s podobnými animacemi. Výzkumníci hodlají tyto nedostatky v budoucí práci řešit.
Zdroj: 3dnews.ru