Група даследчыкаў з шанхайскага тэхнічнага ўніверсітэта інструментарый , які дазваляе пры дапамозе метадаў машыннага навучання сімуляваць рухі людзей па статычных выявах, а таксама замяняць адзенне, пераносіць у іншае асяроддзе і змяняць ракурс з якога бачны аб'ект. Код напісаны на мове Python
з ужываннем фрэймворка . Для зборкі таксама патрабуецца і CUDA Toolkit.
Інструментарый атрымлівае на ўваходзе двухмерны малюнак і сінтэзуе зменены вынік на аснове абранай мадэлі. Падтрымліваецца тры варыянты трансфармацый:
Стварэнне аб'екта, які рухаецца і паўтарае рухі, на якіх была навучана мадэль. Перадача элементаў знешняга выгляду з мадэлі ў аб'ект (напрыклад, змена адзення). Генерацыя новага ракурсу (напрыклад, сінтэз выявы ў профіль на аснове фатаграфіі ў анфас). Усе тры метады могуць камбінавацца, напрыклад, можна па фатаграфіі генераваць відэа, якое імітуе выкананне складанага акрабатычнага трука ў іншым адзенні.
Падчас сінтэзу адначасна выконваюцца аперацыі вылучэння аб'екта на фатаграфіі і фармаванні якія адсутнічаюць элементаў фону пры перасоўванні. Мадэль для нейронавай сеткі можа быць натрэніраваны адзін раз і выкарыстана для розных пераўтварэнняў. Для загрузкі гатовыя мадэлі, якія дазваляюць адразу выкарыстоўваць інструментар без правядзення папярэдняй трэніроўкі. Для працы патрабуецца GPU з памерам памяці не менш за 8GB.
У адрозненне ад метадаў трансфармацыі, заснаваных на трансфармацыі па ключавых кропках, якія апісваюць размяшчэнне цела ў двухмернай прасторы, у Impersonator зроблена спроба сінтэзу трохмернай сеткі (mesh) з апісаннем цела, выкарыстоўваючы метады машыннага навучання.
Прапанаваны метад дазваляе праводзіць маніпуляцыі з улікам персаналізаванай формы цела і бягучай паставы, мадэлюючы натуральныя рухі канечнасцяў.
Для захавання зыходнай інфармацыі, такі як тэкстуры, стыль, колеры і пазнавальнасць асобы, у працэсе трансфармацыі прымяняецца (). Інфармацыя аб зыходным аб'екце і параметры для яго дакладнай ідэнтыфікацыі здабываецца шляхам ужывання .
Крыніца: opennet.ru