Ang mga neural network nga nagmugna og orihinal nga mga video base sa mga deskripsyon sa teksto anaa na. Ug bisan kung dili pa sila hingpit nga makapuli sa mga filmmaker o animator, adunay pag-uswag na sa kini nga direksyon. Disney Research ug Rutgers usa ka neural network nga makahimo og usa ka bagis nga storyboard ug video gikan sa usa ka text script.
Ingon sa nahibal-an, ang sistema nagtrabaho sa natural nga sinultian, nga magtugot niini nga magamit sa daghang mga lugar, sama sa paghimo og mga video nga pang-edukasyon. Kini nga mga sistema makatabang usab sa mga screenwriter nga mahanduraw ang ilang mga ideya. Sa samang higayon, gipahayag nga ang tumong dili ang pag-ilis sa mga magsusulat ug mga artista, apan aron mahimo ang ilang trabaho nga mas episyente ug dili kaayo kapoy.
Ang mga developers nag-ingon nga ang paghubad sa teksto ngadto sa animation dili sayon ββnga buluhaton tungod kay ang input ug output data walay fixed structure. Busa, kadaghanan sa maong mga sistema dili makaproseso sa komplikadong mga tudling-pulong. Aron mabuntog ang mga limitasyon sa miaging susama nga mga programa, ang mga developers nagtukod ug modular neural network nga gilangkuban sa daghang mga sangkap. Naglakip kini sa usa ka natural nga module sa pagproseso sa lengguwahe, usa ka module sa pag-parse sa script, ug usa ka module nga nagpatunghag animation.
Sa pagsugod, ang sistema nag-analisar sa teksto ug naghubad sa komplikadong mga tudling-pulong ngadto sa yano. Pagkahuman niini, gihimo ang usa ka 3D nga animation. Alang sa trabaho, gigamit ang usa ka librarya sa 52 nga mga animated nga bloke, ang lista nga gipalapdan sa 92 pinaagi sa pagdugang parehas nga mga elemento. Aron makamugna og animation, ang Unreal Engine game engine gigamit, nga nagsalig sa preloaded nga mga butang ug mga modelo. Gikan niini, ang sistema mopili sa angay nga mga elemento ug makamugna og video.
Aron mabansay ang sistema, gihugpong sa mga tigdukiduki ang usa ka hugpong sa mga deskripsyon sa 996 nga mga elemento nga gikuha gikan sa labaw sa 1000 nga mga script gikan sa IMSDb, SimplyScripts ug ScriptORama5. Pagkahuman niini, gihimo ang mga kwalitatibo nga mga pagsulay, diin ang mga partisipante sa 22 adunay higayon sa pagtimbang-timbang sa 20 nga mga animation. Sa parehas nga oras, ang 68% nag-ingon nga ang sistema nagmugna medyo desente nga animation base sa mga teksto sa input.
Hinuon, giila sa team nga dili perpekto ang sistema. Ang listahan sa mga aksyon ug mga butang dili kompleto, ug usahay ang lexical nga pagpayano dili motakdo sa mga berbo nga adunay susama nga mga animation. Ang mga tigdukiduki nagtinguha sa pagsulbad niini nga mga kakulangan sa umaabot nga trabaho.
Source: 3dnews.ru