Isang pangkat ng mga mananaliksik mula sa Tel Aviv University ang nagpakita ng HyperStyle, isang baligtad na bersyon ng StyleGAN2 machine learning system ng NVIDIA na muling idinisenyo upang muling likhain ang mga nawawalang bahagi kapag nag-e-edit ng mga totoong larawan. Ang code ay nakasulat sa Python gamit ang PyTorch framework at ipinamamahagi sa ilalim ng lisensya ng MIT.
Kung pinapayagan ka ng StyleGAN na mag-synthesize ng mukhang makatotohanang mga bagong mukha ng mga tao sa pamamagitan ng pagtukoy ng mga parameter gaya ng edad, kasarian, haba ng buhok, karakter ng ngiti, hugis ng ilong, kulay ng balat, salamin at anggulo ng litrato, ginagawang posible ng HyperStyle na baguhin ang mga katulad na parameter sa umiiral na mga larawan nang hindi binabago ang kanilang mga katangiang katangian habang pinapanatili ang pagkilala sa orihinal na mukha. Halimbawa, gamit ang HyperStyle, maaari mong gayahin ang isang pagbabago sa edad ng isang tao sa isang larawan, baguhin ang hairstyle, magdagdag ng mga baso, balbas o bigote, bigyan ang imahe ng hitsura ng isang cartoon character o isang hand-drawn painting, gumawa isang malungkot o masayang ekspresyon ng mukha. Bukod dito, ang sistema ay maaaring sanayin hindi lamang upang baguhin ang mga mukha ng mga tao, kundi pati na rin para sa anumang mga bagay, halimbawa, upang i-edit ang mga larawan ng mga kotse.
Ang iminungkahing pamamaraan ay naglalayong lutasin ang problema ng muling pagtatayo ng mga nawawalang bahagi ng isang imahe sa panahon ng pag-edit. Sa mga naunang iminungkahing pamamaraan, ang trade-off sa pagitan ng reconstruction at editability ay nalutas sa pamamagitan ng pag-fine-tune ng image generator para palitan ang mga bahagi ng target na imahe kapag nililikha muli ang mga nawawalang nae-edit na rehiyon sa una. Ang kawalan ng naturang mga diskarte ay ang pangangailangan para sa pangmatagalang naka-target na pagsasanay ng neural network para sa bawat imahe.
Ginagawang posible ng pamamaraang batay sa algorithm ng StyleGAN na gumamit ng karaniwang modelo, na paunang sinanay sa mga karaniwang koleksyon ng mga larawan, upang makabuo ng mga elementong katangian ng orihinal na larawan na may antas ng pagiging maaasahan na maihahambing sa mga algorithm na nangangailangan ng indibidwal na pagsasanay ng modelo para sa bawat isa. larawan. Ang isa pang bentahe ng bagong pamamaraan ay ang kakayahang baguhin ang mga imahe na may pagganap na malapit sa real time.
Ang mga ready-made na sinanay na modelo ay inihanda para sa mga mukha ng mga tao, mga kotse at mga hayop batay sa mga koleksyon ng Flickr-Faces-HQ (FFHQ, 70 libong mataas na kalidad na PNG na mga larawan ng mga mukha ng mga tao), Stanford Cars (16 libong mga larawan ng mga kotse) at AFHQ (mga larawan ng mga hayop). Bukod pa rito, ibinibigay ang mga tool para sa pagsasanay sa iyong mga modelo, pati na rin ang mga yari na sinanay na modelo ng mga karaniwang encoder at generator na angkop para gamitin sa kanila. Halimbawa, ang mga generator ay magagamit para sa paglikha ng mga larawang may istilong Toonify, mga karakter ng Pixar, pagbuo ng mga sketch, at kahit na pag-istilo ng mga prinsesa mula sa mga cartoon ng Disney.
Pinagmulan: opennet.ru