Neural Netzwierker déi originell Videoen erstellen op Basis vun Textbeschreiwungen existéieren schonn. An obwuel si nach net fäerdeg sinn, Filmemacher oder Animateuren komplett z'ersetzen, gëtt et scho Fortschrëtter an déi Richtung. Disney Fuerschung an Rutgers en neuralt Netzwierk dat e rauem Storyboard a Video aus engem Textskript ka kreéieren.
Wéi bemierkt, funktionnéiert de System mat der natierlecher Sprooch, wat et erlaabt an enger Rei vu Beräicher benotzt ze ginn, wéi zB Bildungsvideoen erstellen. Dës Systemer hëllefen och Dréibuchauteuren hir Iddien ze visualiséieren. Gläichzäiteg gëtt festgehalen, datt et net drëms geet, Schrëftsteller a Kënschtler ze ersetzen, mä hir Aarbecht méi effizient a manner langweileg ze maachen.
D'Entwéckler soen datt d'Iwwersetzung vun Text an Animatioun net eng einfach Aufgab ass, well d'Input- an d'Outputdaten keng fix Struktur hunn. Dofir kënnen déi meescht esou Systemer net komplex Sätz veraarbechten. Fir d'Aschränkungen vu fréiere ähnlechen Programmer ze iwwerwannen, hunn d'Entwéckler e modulare neurale Netzwierk gebaut, deen aus verschiddene Komponenten besteet. Dëst beinhalt en natierleche Sproochveraarbechtungsmodul, e Skriptparsingmodul an e Modul deen Animatioun generéiert.
Fir unzefänken, analyséiert de System den Text an iwwersetzt komplex Sätz an einfach. Duerno gëtt eng 3D Animatioun erstallt. Fir d'Aarbecht gëtt eng Bibliothéik vun 52 animéierten Blocks benotzt, d'Lëscht vun deenen op 92 erweidert gouf andeems se ähnlech Elementer bäigefüügt hunn. Fir Animatioun ze kreéieren gëtt den Unreal Engine Spillmotor benotzt, deen op virgelueden Objeten a Modeller hänkt. Vun dësen wielt de System gëeegent Elementer a generéiert e Video.
Fir de System ze trainéieren, hunn d'Fuerscher eng Rei vu Beschreiwunge vun 996 Elementer zesummegesat aus méi wéi 1000 Scripte vun IMSDb, SimplyScripts a ScriptORama5. Duerno goufen qualitativ Tester duerchgefouert, bei deenen 22 Participanten d'Méiglechkeet haten 20 Animatiounen ze bewäerten. Zur selwechter Zäit hunn 68% gesot datt de System zimlech anstänneg Animatioun erstallt huet op Basis vun den Inputtexter.
Wéi och ëmmer, d'Team huet unerkannt datt de System net perfekt ass. Seng Lëscht vun Aktiounen an Objeten ass net ustrengend, an heiansdo lexikalesch Vereinfachung entsprécht net Verben mat ähnlechen Animatiounen. D'Fuerscher wëllen dës Mängel an zukünfteg Aarbecht unzegoen.
Source: 3dnews.ru