Er bestaan al neurale netwerken die originele video’s maken op basis van tekstbeschrijvingen. En hoewel ze filmmakers of animators nog niet volledig kunnen vervangen, is er al vooruitgang in deze richting. Disney Research en Rutgers een neuraal netwerk dat van een tekstscript een ruw storyboard en video kan maken.
Zoals opgemerkt werkt het systeem met natuurlijke taal, waardoor het op een aantal gebieden kan worden gebruikt, zoals het maken van educatieve video's. Deze systemen zullen scenarioschrijvers ook helpen hun ideeën te visualiseren. Tegelijkertijd wordt gesteld dat het doel niet is om schrijvers en kunstenaars te vervangen, maar om hun werk efficiënter en minder vervelend te maken.
De ontwikkelaars zeggen dat het vertalen van tekst naar animatie geen gemakkelijke taak is, omdat de invoer- en uitvoergegevens geen vaste structuur hebben. Daarom kunnen de meeste van dergelijke systemen geen complexe zinnen verwerken. Om de beperkingen van eerdere soortgelijke programma's te overwinnen, bouwden de ontwikkelaars een modulair neuraal netwerk dat uit verschillende componenten bestond. Deze omvatten een module voor natuurlijke taalverwerking, een module voor het parseren van scripts en een module die animatie genereert.
Om te beginnen analyseert het systeem de tekst en vertaalt complexe zinnen naar eenvoudige. Hierna wordt er een 3D-animatie gemaakt. Voor werk wordt een bibliotheek van 52 geanimeerde blokken gebruikt, waarvan de lijst is uitgebreid tot 92 door soortgelijke elementen toe te voegen. Om animaties te maken, wordt de Unreal Engine-game-engine gebruikt, die afhankelijk is van vooraf geladen objecten en modellen. Hieruit selecteert het systeem geschikte elementen en genereert een video.
Om het systeem te trainen, hebben de onderzoekers een reeks beschrijvingen samengesteld van 996 elementen uit meer dan 1000 scripts van IMSDb, SimplyScripts en ScriptORama5. Hierna werden kwalitatieve tests uitgevoerd, waarbij 22 deelnemers de kans kregen om 20 animaties te beoordelen. Tegelijkertijd zei 68% dat het systeem behoorlijk behoorlijke animaties creëerde op basis van de invoerteksten.
Het team erkende echter dat het systeem niet perfect is. De lijst met acties en objecten is niet uitputtend, en soms komt lexicale vereenvoudiging niet overeen met werkwoorden met vergelijkbare animaties. De onderzoekers zijn van plan deze tekortkomingen in toekomstig werk aan te pakken.
Bron: 3dnews.ru