Diġà jeżistu netwerks newrali li joħolqu vidjows oriġinali bbażati fuq deskrizzjonijiet tat-test. U għalkemm għadhom mhumiex kapaċi jissostitwixxu kompletament lill-produtturi tal-films jew animaturi, diġà hemm progress f'din id-direzzjoni. Disney Research u Rutgers netwerk newrali li jista 'joħloq storyboard mhux maħdum u vidjo minn skript ta' test.
Kif innutat, is-sistema taħdem b'lingwaġġ naturali, li se jippermetti li tintuża f'numru ta 'oqsma, bħall-ħolqien ta' vidjows edukattivi. Dawn is-sistemi se jgħinu wkoll lill-kittieba tal-iskrins jivviżwalizzaw l-ideat tagħhom. Fl-istess ħin, jingħad li l-għan mhuwiex li jissostitwixxu kittieba u artisti, iżda li jagħmlu xogħolhom aktar effiċjenti u inqas tedjanti.
L-iżviluppaturi jgħidu li t-traduzzjoni tat-test f'animazzjoni mhix biċċa xogħol faċli minħabba li d-dejta tad-dħul u tal-ħruġ m'għandhiex struttura fissa. Għalhekk, ħafna sistemi bħal dawn ma jistgħux jipproċessaw sentenzi kumplessi. Biex jegħlbu l-limitazzjonijiet ta 'programmi simili preċedenti, l-iżviluppaturi bnew netwerk newrali modulari li jikkonsisti f'diversi komponenti. Dawn jinkludu modulu tal-ipproċessar tal-lingwa naturali, modulu tal-iskript parsing, u modulu li jiġġenera animazzjoni.
Biex tibda, is-sistema tanalizza t-test u tittraduċi sentenzi kumplessi f'oħrajn sempliċi. Wara dan, tinħoloq animazzjoni 3D. Għax-xogħol, tintuża librerija ta '52 blokka animata, li l-lista tagħhom ġiet estiża għal 92 billi żżid elementi simili. Biex tinħoloq animazzjoni, tintuża l-magna tal-logħob Unreal Engine, li tiddependi fuq oġġetti u mudelli mgħobbija minn qabel. Minn dawn, is-sistema tagħżel elementi xierqa u tiġġenera vidjo.
Biex iħarrġu s-sistema, ir-riċerkaturi kkumpilaw sett ta’ deskrizzjonijiet ta’ 996 element meħuda minn aktar minn 1000 skript minn IMSDb, SimplyScripts u ScriptORama5. Wara dan, saru testijiet kwalitattivi, li fihom 22 parteċipant kellhom l-opportunità li jevalwaw 20 animazzjoni. Fl-istess ħin, 68% qalu li s-sistema ħolqot animazzjoni pjuttost deċenti bbażata fuq it-testi tal-input.
Madankollu, it-tim irrikonoxxa li s-sistema mhix perfetta. Il-lista tagħha ta 'azzjonijiet u oġġetti mhijiex eżawrjenti, u xi kultant is-simplifikazzjoni lessikali ma taqbilx ma' verbi b'animazzjonijiet simili. Ir-riċerkaturi beħsiebhom jindirizzaw dawn in-nuqqasijiet f'xogħol futur.
Sors: 3dnews.ru