Neuraaliverkkoja, jotka luovat alkuperäisiä videoita tekstikuvausten perusteella, on jo olemassa. Ja vaikka he eivät vielä pysty täysin korvaamaan elokuvantekijöitä tai animaattoreita, tähän suuntaan on jo edistytty. Disney Research ja Rutgers hermoverkko, joka voi luoda karkean kuvakäsikirjoituksen ja videon tekstistä.
Kuten todettiin, järjestelmä toimii luonnollisella kielellä, mikä mahdollistaa sen käytön useilla aloilla, kuten opetusvideoiden luomisessa. Nämä järjestelmät auttavat myös käsikirjoittajia visualisoimaan ideoitaan. Samalla todetaan, että tavoitteena ei ole korvata kirjailijoita ja taiteilijoita, vaan tehdä heidän työstään tehokkaampaa ja vähemmän tylsää.
Kehittäjät sanovat, että tekstin kääntäminen animaatioksi ei ole helppoa, koska syöttö- ja lähtötiedoilla ei ole kiinteää rakennetta. Siksi useimmat tällaiset järjestelmät eivät voi käsitellä monimutkaisia lauseita. Aiempien vastaavien ohjelmien rajoitusten voittamiseksi kehittäjät rakensivat modulaarisen hermoverkon, joka koostui useista komponenteista. Näitä ovat luonnollisen kielen käsittelymoduuli, komentosarjan jäsennysmoduuli ja animaatiota luova moduuli.
Aluksi järjestelmä analysoi tekstin ja kääntää monimutkaiset lauseet yksinkertaisiksi. Tämän jälkeen luodaan 3D-animaatio. Työssä käytetään 52 animoidun lohkon kirjastoa, jonka luetteloa laajennettiin 92:een lisäämällä samanlaisia elementtejä. Animaatioiden luomiseen käytetään Unreal Engine -pelimoottoria, joka perustuu esiladattuihin objekteihin ja malleihin. Näistä järjestelmä valitsee sopivat elementit ja luo videon.
Järjestelmän kouluttamiseksi tutkijat kokosivat joukon kuvauksia 996 elementistä, jotka on otettu yli 1000 IMSDb:n, SimplyScriptsin ja ScriptORama5:n komentosarjasta. Tämän jälkeen suoritettiin kvalitatiiviset testit, joissa 22 osallistujalla oli mahdollisuus arvioida 20 animaatiota. Samaan aikaan 68 % sanoi, että järjestelmä loi syöttötekstien perusteella varsin kunnollisen animaation.
Ryhmä kuitenkin myönsi, että järjestelmä ei ole täydellinen. Sen toimien ja objektien luettelo ei ole tyhjentävä, ja joskus leksikaalinen yksinkertaistaminen ei vastaa verbejä, joilla on samankaltaisia animaatioita. Tutkijat aikovat korjata nämä puutteet tulevassa työssään.
Lähde: 3dnews.ru