Neurónové siete, ktoré vytvárajú originálne videá na základe textových popisov, už existujú. A hoci ešte nedokážu úplne nahradiť filmárov či animátorov, v tomto smere je už pokrok. Disney Research a Rutgers neurónová sieť, ktorá dokáže z textového scenára vytvoriť hrubý storyboard a video.
Ako bolo poznamenané, systém pracuje s prirodzeným jazykom, čo umožní jeho využitie v mnohých oblastiach, ako je napríklad vytváranie vzdelávacích videí. Tieto systémy tiež pomôžu scenáristom vizualizovať ich nápady. Zároveň sa uvádza, že cieľom nie je suplovať spisovateľov a umelcov, ale zefektívniť a zjednodušiť ich prácu.
Vývojári tvrdia, že preklad textu do animácie nie je jednoduchá úloha, pretože vstupné a výstupné dáta nemajú pevnú štruktúru. Preto väčšina takýchto systémov nedokáže spracovať zložité vety. Aby vývojári prekonali obmedzenia predchádzajúcich podobných programov, postavili modulárnu neurónovú sieť pozostávajúcu z niekoľkých komponentov. Patria sem modul na spracovanie prirodzeného jazyka, modul na analýzu skriptov a modul, ktorý generuje animáciu.
Na začiatok systém analyzuje text a preloží zložité vety na jednoduché. Potom sa vytvorí 3D animácia. Na prácu sa používa knižnica 52 animovaných blokov, ktorých zoznam sa pridaním podobných prvkov rozšíril na 92. Na vytvorenie animácie sa používa herný engine Unreal Engine, ktorý sa spolieha na predinštalované objekty a modely. Z nich systém vyberie vhodné prvky a vygeneruje video.
Na trénovanie systému výskumníci zostavili súbor popisov 996 prvkov prevzatých z viac ako 1000 5 skriptov z IMSDb, SimplyScripts a ScriptORama22. Následne prebehli kvalitatívne testy, v ktorých malo 20 účastníkov možnosť ohodnotiť 68 animácií. XNUMX % zároveň uviedlo, že systém na základe vstupných textov vytvoril celkom slušnú animáciu.
Tým však uznal, že systém nie je dokonalý. Jeho zoznam akcií a predmetov nie je vyčerpávajúci a niekedy lexikálne zjednodušenie nezodpovedá slovesám s podobnými animáciami. Výskumníci majú v úmysle riešiť tieto nedostatky v budúcej práci.
Zdroj: 3dnews.ru