Disneyren AI-ak testu-deskribapenetan oinarritutako marrazki bizidunak sortzen ditu

Testu-deskribapenetan oinarritutako jatorrizko bideoak sortzen dituzten sare neuronalak jada existitzen dira. Eta oraindik zinemagileak edo animatzaileak erabat ordezkatzeko gai ez diren arren, aurrerapausoa dago jada bide horretan. Disney Research eta Rutgers garatu testu-gidoi batetik storyboard eta bideo zakarra sor ditzakeen neurona-sare bat.

Disneyren AI-ak testu-deskribapenetan oinarritutako marrazki bizidunak sortzen ditu

Esan bezala, sistemak hizkuntza naturalarekin funtzionatzen du, eta horri esker, hainbat arlotan erabili ahal izango da, adibidez, bideo didaktikoak sortzeko. Sistema hauek gidoilariei beren ideiak ikusarazten lagunduko diete. Aldi berean, helburua ez dela idazleak eta artistak ordezkatzea, haien lana eraginkorragoa eta neketsuagoa izatea baizik.

Garatzaileek diote testua animaziora itzultzea ez dela lan erraza, sarrerako eta irteerako datuek ez baitute egitura finkorik. Hori dela eta, horrelako sistema gehienek ezin dituzte esaldi konplexuak prozesatu. Aurreko antzeko programen mugak gainditzeko, garatzaileek hainbat osagaiz osatutako sare neuronal modular bat eraiki zuten. Horien artean, hizkuntza naturala prozesatzeko modulua, script-a analizatzeko modulua eta animazioa sortzen duen modulua daude.

Disneyren AI-ak testu-deskribapenetan oinarritutako marrazki bizidunak sortzen ditu

Hasteko, sistemak testua aztertzen du eta esaldi konplexuak sinpleetara itzultzen ditu. Horren ostean, 3D animazio bat sortzen da. Lanerako, 52 animazio blokeko liburutegia erabiltzen da, eta horien zerrenda 92ra zabaldu zen antzeko elementuak gehituz. Animazioa sortzeko, Unreal Engine joko motorra erabiltzen da, aurrez kargatutako objektu eta modeloetan oinarritzen dena. Horietatik, sistemak elementu egokiak hautatzen ditu eta bideo bat sortzen du.

Disneyren AI-ak testu-deskribapenetan oinarritutako marrazki bizidunak sortzen ditu

Sistema trebatzeko, ikertzaileek IMSDb, SimplyScripts eta ScriptORama996eko 1000 script baino gehiagotik hartutako 5 elementuren deskribapen multzoa osatu zuten. Horren ostean, proba kualitatiboak egin ziren, eta horietan 22 parte-hartzailek 20 animazio ebaluatzeko aukera izan zuten. Aldi berean, %68k esan zuen sistemak nahiko animazio duina sortu zuela sarrerako testuetan oinarrituta.

Hala ere, sistema ez dela perfektua onartu du taldeak. Bere ekintzen eta objektuen zerrenda ez da zehatza, eta batzuetan sinplifikazio lexikoa ez dator bat antzeko animaziodun aditzekin. Ikertzaileek gabezia horiei aurre egiteko asmoa dute etorkizuneko lanetan.



Iturria: 3dnews.ru

Gehitu iruzkin berria