Neurale netwerke wat oorspronklike video's skep gebaseer op teksbeskrywings bestaan ββreeds. En hoewel hulle nog nie in staat is om filmmakers of animators heeltemal te vervang nie, is daar reeds vordering in hierdie rigting. Disney Research en Rutgers 'n neurale netwerk wat 'n rowwe storiebord en video uit 'n teksskrif kan skep.
Soos opgemerk, werk die stelsel met natuurlike taal, wat dit sal toelaat om op 'n aantal gebiede gebruik te word, soos die skep van opvoedkundige video's. Hierdie stelsels sal ook draaiboekskrywers help om hul idees te visualiseer. Terselfdertyd word gestel dat die doel nie is om skrywers en kunstenaars te vervang nie, maar om hul werk doeltreffender en minder vervelig te maak.
Die ontwikkelaars sΓͺ dat die vertaling van teks in animasie nie 'n maklike taak is nie omdat die invoer- en uitvoerdata nie 'n vaste struktuur het nie. Daarom kan die meeste sulke stelsels nie komplekse sinne verwerk nie. Om die beperkings van vorige soortgelyke programme te oorkom, het die ontwikkelaars 'n modulΓͺre neurale netwerk gebou wat uit verskeie komponente bestaan. Dit sluit in 'n natuurlike taalverwerkingsmodule, 'n skrifontledingsmodule en 'n module wat animasie genereer.
Om mee te begin, ontleed die stelsel die teks en vertaal komplekse sinne in eenvoudiges. Hierna word 'n 3D-animasie geskep. Vir werk word 'n biblioteek van 52 geanimeerde blokke gebruik, waarvan die lys na 92 ββuitgebrei is deur soortgelyke elemente by te voeg. Om animasie te skep, word die Unreal Engine-speletjie-enjin gebruik, wat staatmaak op voorafgelaaide voorwerpe en modelle. Hieruit kies die stelsel geskikte elemente en genereer 'n video.
Om die stelsel op te lei, het die navorsers 'n stel beskrywings van 996 elemente saamgestel uit meer as 1000 5 skrifte van IMSDb, SimplyScripts en ScriptORama22. Hierna is kwalitatiewe toetse uitgevoer, waarin 20 deelnemers die geleentheid gehad het om 68 animasies te evalueer. Terselfdertyd het XNUMX% gesΓͺ dat die stelsel redelik ordentlike animasie geskep het op grond van die invoertekste.
Die span het egter erken dat die stelsel nie perfek is nie. Die lys van aksies en voorwerpe is nie volledig nie, en soms pas leksikale vereenvoudiging nie by werkwoorde met soortgelyke animasies nie. Die navorsers beoog om hierdie tekortkominge in toekomstige werk aan te spreek.
Bron: 3dnews.ru