Umiiral na ang mga neural network na gumagawa ng mga orihinal na video batay sa mga paglalarawan ng teksto. At bagama't hindi pa nila ganap na napalitan ang mga gumagawa ng pelikula o animator, mayroon nang pag-unlad sa direksyong ito. Disney Research at Rutgers isang neural network na maaaring lumikha ng isang magaspang na storyboard at video mula sa isang text script.
Gaya ng nabanggit, gumagana ang system gamit ang natural na wika, na magbibigay-daan dito na magamit sa ilang lugar, tulad ng paggawa ng mga video na pang-edukasyon. Tutulungan din ng mga system na ito ang mga screenwriter na mailarawan ang kanilang mga ideya. Kasabay nito, sinabi na ang layunin ay hindi upang palitan ang mga manunulat at artista, ngunit upang gawing mas mahusay at hindi nakakapagod ang kanilang trabaho.
Sinasabi ng mga developer na ang pagsasalin ng teksto sa animation ay hindi isang madaling gawain dahil ang input at output data ay walang nakapirming istraktura. Samakatuwid, karamihan sa mga ganitong sistema ay hindi makapagproseso ng mga kumplikadong pangungusap. Upang malampasan ang mga limitasyon ng mga nakaraang katulad na programa, ang mga developer ay nagtayo ng isang modular neural network na binubuo ng ilang mga bahagi. Kabilang dito ang isang natural na module sa pagproseso ng wika, isang script parsing module, at isang module na bumubuo ng animation.
Upang magsimula, sinusuri ng system ang teksto at isinasalin ang mga kumplikadong pangungusap sa mga simple. Pagkatapos nito, isang 3D animation ay nilikha. Para sa trabaho, ginagamit ang isang library ng 52 animated na bloke, ang listahan nito ay pinalawak sa 92 sa pamamagitan ng pagdaragdag ng mga katulad na elemento. Upang lumikha ng animation, ginagamit ang Unreal Engine game engine, na umaasa sa mga na-preload na bagay at modelo. Mula sa mga ito, pinipili ng system ang mga angkop na elemento at bumubuo ng isang video.
Upang sanayin ang system, pinagsama-sama ng mga mananaliksik ang isang hanay ng mga paglalarawan ng 996 elemento na kinuha mula sa higit sa 1000 mga script mula sa IMSDb, SimplyScripts at ScriptORama5. Pagkatapos nito, isinagawa ang mga pagsusulit ng husay, kung saan 22 kalahok ang nagkaroon ng pagkakataong suriin ang 20 animation. Kasabay nito, 68% ang nagsabi na ang system ay lumikha ng medyo disenteng animation batay sa mga input text.
Gayunpaman, kinilala ng koponan na ang sistema ay hindi perpekto. Ang listahan ng mga aksyon at bagay nito ay hindi kumpleto, at kung minsan ang lexical na pagpapasimple ay hindi tumutugma sa mga pandiwa na may katulad na mga animation. Nilalayon ng mga mananaliksik na tugunan ang mga pagkukulang na ito sa hinaharap na gawain.
Pinagmulan: 3dnews.ru