Rrjetet nervore që krijojnë video origjinale bazuar në përshkrimet e tekstit ekzistojnë tashmë. Dhe megjithëse nuk janë ende në gjendje të zëvendësojnë plotësisht kineastët apo animatorët, tashmë ka përparim në këtë drejtim. Disney Research dhe Rutgers një rrjet nervor që mund të krijojë një histori të përafërt dhe video nga një skenar teksti.
Siç u përmend, sistemi funksionon me gjuhë natyrale, e cila do ta lejojë atë të përdoret në një sërë fushash, si krijimi i videove edukative. Këto sisteme do të ndihmojnë gjithashtu skenaristët të vizualizojnë idetë e tyre. Në të njëjtën kohë, thuhet se qëllimi nuk është zëvendësimi i shkrimtarëve dhe artistëve, por për ta bërë punën e tyre më efikase dhe më pak të lodhshme.
Zhvilluesit thonë se përkthimi i tekstit në animacion nuk është një detyrë e lehtë sepse të dhënat hyrëse dhe dalëse nuk kanë një strukturë fikse. Prandaj, shumica e sistemeve të tilla nuk mund të përpunojnë fjali komplekse. Për të kapërcyer kufizimet e programeve të mëparshme të ngjashme, zhvilluesit ndërtuan një rrjet nervor modular të përbërë nga disa komponentë. Këto përfshijnë një modul të përpunimit të gjuhës natyrore, një modul analizimi të skriptit dhe një modul që gjeneron animacion.
Si fillim, sistemi analizon tekstin dhe përkthen fjali komplekse në të thjeshta. Pas kësaj, krijohet një animacion 3D. Për punë përdoret një bibliotekë me 52 blloqe të animuara, lista e të cilave është zgjeruar në 92 duke shtuar elementë të ngjashëm. Për të krijuar animacion, përdoret motori i lojës Unreal Engine, i cili mbështetet në objekte dhe modele të ngarkuara paraprakisht. Nga këto, sistemi zgjedh elementë të përshtatshëm dhe gjeneron një video.
Për të trajnuar sistemin, studiuesit përpiluan një sërë përshkrimesh të 996 elementeve të marra nga më shumë se 1000 skripta nga IMSDb, SimplyScripts dhe ScriptORama5. Pas kësaj u kryen teste cilësore, në të cilat 22 pjesëmarrës patën mundësinë të vlerësojnë 20 animacione. Në të njëjtën kohë, 68% thanë se sistemi krijoi animacion mjaft të mirë bazuar në tekstet hyrëse.
Megjithatë, ekipi pranoi se sistemi nuk është i përsosur. Lista e tij e veprimeve dhe objekteve nuk është shteruese, dhe nganjëherë thjeshtimi leksikor nuk përputhet me foljet me animacione të ngjashme. Studiuesit synojnë t'i adresojnë këto mangësi në punën e ardhshme.
Burimi: 3dnews.ru