Neurala nätverk som skapar originalvideor baserat på textbeskrivningar finns redan. Och även om de ännu inte helt kan ersätta filmskapare eller animatörer, finns det redan framsteg i denna riktning. Disney Research och Rutgers ett neuralt nätverk som kan skapa en grov storyboard och video från ett textmanus.
Som nämnts fungerar systemet med naturligt språk, vilket gör att det kan användas inom ett antal områden, som att skapa utbildningsvideor. Dessa system kommer också att hjälpa manusförfattare att visualisera sina idéer. Samtidigt konstateras att målet inte är att ersätta författare och konstnärer, utan att göra deras arbete effektivare och mindre tråkigt.
Utvecklarna säger att det inte är en lätt uppgift att översätta text till animation eftersom in- och utdata inte har en fast struktur. Därför kan de flesta sådana system inte bearbeta komplexa meningar. För att övervinna begränsningarna med tidigare liknande program byggde utvecklarna ett modulärt neuralt nätverk bestående av flera komponenter. Dessa inkluderar en bearbetningsmodul för naturligt språk, en skriptanalysmodul och en modul som genererar animering.
Till att börja med analyserar systemet texten och översätter komplexa meningar till enkla. Efter detta skapas en 3D-animation. För arbete används ett bibliotek med 52 animerade block, vars lista utökades till 92 genom att lägga till liknande element. För att skapa animering används Unreal Engine-spelmotorn, som bygger på förinstallerade objekt och modeller. Från dessa väljer systemet lämpliga element och genererar en video.
För att träna systemet sammanställde forskarna en uppsättning beskrivningar av 996 element hämtade från mer än 1000 5 skript från IMSDb, SimplyScripts och ScriptORama22. Efter detta genomfördes kvalitativa tester där 20 deltagare fick möjlighet att utvärdera 68 animationer. Samtidigt sa XNUMX% att systemet skapade ganska hyfsad animation baserat på ingångstexterna.
Teamet erkände dock att systemet inte är perfekt. Dess lista över åtgärder och objekt är inte uttömmande, och ibland matchar lexikal förenkling inte verb med liknande animationer. Forskarna avser att ta itu med dessa brister i framtida arbete.
Källa: 3dnews.ru