Disney's AI ṣẹda awọn aworan efe ti o da lori awọn apejuwe ọrọ

Awọn nẹtiwọọki nkankikan ti o ṣẹda awọn fidio atilẹba ti o da lori awọn apejuwe ọrọ ti wa tẹlẹ. Ati pe botilẹjẹpe wọn ko sibẹsibẹ ni anfani lati rọpo awọn oṣere fiimu tabi awọn oṣere, ilọsiwaju ti wa tẹlẹ ni itọsọna yii. Disney Iwadi ati Rutgers ni idagbasoke Nẹtiwọọki nkankikan ti o le ṣẹda iwe itan itanjẹ ati fidio lati inu iwe afọwọkọ ọrọ kan.

Disney's AI ṣẹda awọn aworan efe ti o da lori awọn apejuwe ọrọ

Gẹgẹbi a ti ṣe akiyesi, eto naa n ṣiṣẹ pẹlu ede abinibi, eyiti yoo jẹ ki o ṣee lo ni awọn agbegbe pupọ, bii ṣiṣẹda awọn fidio ẹkọ. Awọn ọna ṣiṣe wọnyi yoo tun ṣe iranlọwọ fun awọn onkọwe iboju lati wo awọn ero wọn. Ni akoko kanna, o sọ pe ibi-afẹde kii ṣe lati rọpo awọn onkọwe ati awọn oṣere, ṣugbọn lati jẹ ki iṣẹ wọn ṣiṣẹ daradara ati ki o dinku.

Awọn olupilẹṣẹ sọ pe itumọ ọrọ sinu iwara kii ṣe iṣẹ ti o rọrun nitori titẹ sii ati data iṣelọpọ ko ni eto ti o wa titi. Nitorinaa, pupọ julọ iru awọn ọna ṣiṣe ko le ṣe ilana awọn gbolohun ọrọ eka. Lati bori awọn idiwọn ti awọn eto iru ti iṣaaju, awọn olupilẹṣẹ kọ nẹtiwọọki apọju iwọn ti o ni awọn paati pupọ. Iwọnyi pẹlu module ṣiṣatunṣe ede ti ara, module itọka iwe afọwọkọ, ati module kan ti o ṣe agbejade iwara.

Disney's AI ṣẹda awọn aworan efe ti o da lori awọn apejuwe ọrọ

Lati bẹrẹ pẹlu, eto naa ṣe itupalẹ ọrọ ati tumọ awọn gbolohun ọrọ ti o nipọn si awọn ti o rọrun. Lẹhin eyi, a ṣẹda iwara 3D kan. Fun iṣẹ, ile-ikawe ti awọn bulọọki ere idaraya 52 ni a lo, atokọ eyiti o gbooro si 92 nipa fifi awọn eroja ti o jọra kun. Lati ṣẹda iwara, ẹrọ ere Unreal Engine ti lo, eyiti o da lori awọn nkan ti a ti ṣajọ tẹlẹ ati awọn awoṣe. Lati iwọnyi, eto naa yan awọn eroja to dara ati ṣe ipilẹṣẹ fidio kan.

Disney's AI ṣẹda awọn aworan efe ti o da lori awọn apejuwe ọrọ

Lati ṣe ikẹkọ eto naa, awọn oniwadi ṣe akojọpọ awọn apejuwe ti awọn eroja 996 ti a mu lati diẹ sii ju awọn iwe afọwọkọ 1000 lati IMSDb, SimplyScripts ati ScriptORama5. Lẹhin eyi, awọn idanwo didara ni a ṣe, ninu eyiti awọn olukopa 22 ni aye lati ṣe iṣiro awọn ohun idanilaraya 20. Ni akoko kanna, 68% sọ pe eto naa ṣẹda iwara to bojumu ti o da lori awọn ọrọ titẹ sii.

Sibẹsibẹ, ẹgbẹ naa gba pe eto naa ko pe. Atokọ awọn iṣe ati awọn nkan ko pari, ati nigba miiran irọrun lexical ko baramu awọn ọrọ-ọrọ pẹlu iru awọn ohun idanilaraya. Awọn oniwadi pinnu lati koju awọn ailagbara wọnyi ni iṣẹ iwaju.



orisun: 3dnews.ru

Fi ọrọìwòye kun