Már léteznek olyan neurális hálózatok, amelyek szöveges leírások alapján készítenek eredeti videókat. És bár még nem tudják teljesen leváltani a filmeseket vagy az animátorokat, már van előrelépés ebbe az irányba. Disney Research és Rutgers egy neurális hálózat, amely szöveges forgatókönyvből durva storyboardot és videót tud létrehozni.
Mint megjegyeztük, a rendszer természetes nyelven működik, ami lehetővé teszi, hogy számos területen, például oktatóvideók készítésében is használható legyen. Ezek a rendszerek segítenek a forgatókönyvíróknak elképzeléseik megjelenítésében is. Ugyanakkor leszögezik, hogy nem az írók, művészek leváltása a cél, hanem munkájuk hatékonyabbá tétele, kevésbé fárasztó.
A fejlesztők szerint a szöveg animációra fordítása nem egyszerű feladat, mert a bemeneti és kimeneti adatoknak nincs fix szerkezete. Ezért a legtöbb ilyen rendszer nem képes bonyolult mondatokat feldolgozni. A korábbi hasonló programok korlátainak leküzdésére a fejlesztők egy több komponensből álló moduláris neurális hálózatot építettek. Ezek közé tartozik a természetes nyelv feldolgozó modulja, a szkriptelemző modul és egy animációt generáló modul.
Kezdetben a rendszer elemzi a szöveget, és az összetett mondatokat egyszerű mondatokra fordítja. Ezt követően 3D-s animáció készül. A munkához egy 52 animált blokkból álló könyvtárat használnak, amelyek listája hasonló elemek hozzáadásával 92-re bővült. Az animáció létrehozásához az Unreal Engine játékmotort használják, amely előre betöltött objektumokra és modellekre támaszkodik. Ezek közül a rendszer kiválasztja a megfelelő elemeket és videót generál.
A rendszer betanítása érdekében a kutatók 996 elem leírását állítottak össze több mint 1000 IMSDb, SimplyScripts és ScriptORama5 szkriptből. Ezt követően kvalitatív teszteket végeztek, amelyekben 22 résztvevőnek volt lehetősége 20 animáció értékelésére. Ugyanakkor 68%-uk azt mondta, hogy a bemeneti szövegek alapján egészen tisztességes animációt készített a rendszer.
A csapat azonban elismerte, hogy a rendszer nem tökéletes. A műveletek és objektumok listája nem teljes, és néha a lexikális egyszerűsítés nem egyezik a hasonló animációjú igékkel. A kutatók a jövőbeni munkájuk során ezeket a hiányosságokat kívánják orvosolni.
Forrás: 3dnews.ru