Нейрасеткі, якія ствараюць арыгінальныя відэа па тэкставым апісанні, ужо існуюць. І хоць пакуль яны не ў стане замяніць кінематаграфістаў ці мультыплікатараў цалкам, зрухі ў гэтым напрамку ўжо ёсць. Disney Research і Rutgers нейрасеть, якая можа стварыць грубую раскадроўку і відэа па тэкставым сцэнары.
Як адзначаецца, сістэма працуе з натуральнай мовай, што дазволіць ужываць яе ў шэрагу абласцей накшталт стварэння навучальных відэаролікаў. Таксама гэтыя сістэмы дапамогуць сцэнарыстам візуалізаваць іх ідэі. Пры гэтым заяўлена, што мэта - не замяніць пісьменнікаў і мастакоў, а зрабіць іх працу больш эфектыўнай і менш стомнай.
Распрацоўнікі заяўляюць, што перавод тэксту ў анімацыю з'яўляецца няпростай задачай, паколькі дадзеныя на ўваходзе і выхадзе не маюць фіксаванай структуры. Таму большасць такіх сістэм не могуць апрацоўваць складаныя прапановы. Каб абыйсці абмежаванні папярэдніх падобных праграм, распрацоўнікі пабудавалі модульную нейронавую сетку, якая складаецца з некалькіх кампанентаў. У іх лік уваходзіць модуль апрацоўкі натуральнай мовы, модуль разбору сцэнарыяў, а таксама модуль, які генеруе анімацыю.
Для пачатку сістэма аналізуе тэкст і пераводзіць складаныя прапановы ў простыя. Пасля гэтага ствараецца 3D-анімацыя. Для працы выкарыстоўваецца бібліятэка з 52 анімаваных блокаў, спіс якіх быў пашыраны да 92 за кошт дадання падобных элементаў. Для стварэння анімацыі выкарыстоўваецца гульнявы рухавічок Unreal Engine, які абапіраецца на папярэдне загружаныя аб'екты і мадэлі. З іх сістэма выбірае прыдатныя элементы і фармуе відэаролік.
Для навучання сістэмы даследнікі склалі набор апісанняў з 996 элементаў, узятых з больш за 1000 сцэнараў з IMSDb, SimplyScripts і ScriptORama5. Пасля гэтага былі праведзены якасныя тэсты, у якіх 22 удзельнікам давялося ацаніць 20 анімацый. Пры гэтым 68% сказалі, што сістэма стварыла суцэль годную анімацыю на аснове ўваходных тэкстаў.
Тым не менш, каманда прызнала, што сістэма не ідэальная. Яе спіс дзеянняў і аб'ектаў не з'яўляецца вычарпальным, і часам лексічнае спрашчэнне не супастаўляе дзеясловы з аналагічнымі анімацыямі. Даследчыкі маюць намер ухіліць гэтыя недахопы ў далейшай працы.
Крыніца: 3dnews.ru