Mitandao ya Neural inayounda video asili kulingana na maelezo ya maandishi tayari ipo. Na ingawa bado hawawezi kuchukua nafasi ya watengenezaji filamu au wahuishaji, tayari kuna maendeleo katika mwelekeo huu. Utafiti wa Disney na Rutgers mtandao wa neva ambao unaweza kuunda ubao wa hadithi mbaya na video kutoka kwa hati ya maandishi.
Kama ilivyobainishwa, mfumo hufanya kazi kwa lugha ya asili, ambayo itairuhusu kutumika katika maeneo kadhaa, kama vile kuunda video za kielimu. Mifumo hii pia itasaidia waandishi wa skrini kuibua mawazo yao. Wakati huo huo, inaelezwa kuwa lengo si kuchukua nafasi ya waandishi na wasanii, lakini kufanya kazi zao kwa ufanisi zaidi na zisizo za kuchosha.
Watengenezaji wanasema kuwa kutafsiri maandishi kuwa uhuishaji sio kazi rahisi kwa sababu data ya pembejeo na pato haina muundo thabiti. Kwa hivyo, mifumo mingi kama hii haiwezi kushughulikia sentensi ngumu. Ili kuondokana na mapungufu ya programu za awali zinazofanana, watengenezaji walijenga mtandao wa neural wa kawaida unaojumuisha vipengele kadhaa. Hizi ni pamoja na moduli ya uchakataji wa lugha asilia, moduli ya kuchanganua hati, na moduli inayozalisha uhuishaji.
Kuanza, mfumo huchambua maandishi na kutafsiri sentensi ngumu kuwa rahisi. Baada ya hayo, uhuishaji wa 3D huundwa. Kwa kazi, maktaba ya vitalu 52 vya uhuishaji hutumiwa, orodha ambayo imepanuliwa hadi 92 kwa kuongeza vipengele sawa. Ili kuunda uhuishaji, injini ya mchezo wa Unreal Engine hutumiwa, ambayo inategemea vitu na mifano iliyopakiwa mapema. Kutoka kwa hizi, mfumo huchagua vipengele vinavyofaa na huzalisha video.
Ili kutoa mafunzo kwa mfumo huo, watafiti walikusanya seti ya maelezo ya vipengele 996 vilivyochukuliwa kutoka kwa hati zaidi ya 1000 kutoka kwa IMSDb, SimplyScripts na ScriptORama5. Baada ya hayo, majaribio ya ubora yalifanywa, ambayo washiriki 22 walipata fursa ya kutathmini uhuishaji 20. Wakati huo huo, 68% walisema kuwa mfumo uliunda uhuishaji mzuri kabisa kulingana na maandishi ya pembejeo.
Hata hivyo, timu hiyo ilikiri kwamba mfumo huo si kamilifu. Orodha yake ya vitendo na vitu si kamilifu, na wakati mwingine kurahisisha kileksia hakulingani na vitenzi vilivyo na uhuishaji sawa. Watafiti wanakusudia kushughulikia mapungufu haya katika kazi ya baadaye.
Chanzo: 3dnews.ru