Skupina raziskovalcev s Telavivske univerze je predstavila HyperStyle, obrnjen različica sistema strojnega učenja StyleGAN2, razvitega s strani podjetja NVIDIA, ki je bila predelana za obnovo manjkajočih delov pri urejanju resničnih slik. Koda je napisana v programskem jeziku Python s pomočjo ogrodja PyTorch in se distribuira pod MIT licenco.
Medtem ko StyleGAN omogoča sintezo realno vidnih novih obrazov ljudi z določitvijo takšnih parametrov kot so starost, spol, dolžina las, značaj nasmeha, oblika nosu, barva kože, očala in kot fotografije, HyperStyle omogoča spreminjanje podobnih parametrov na obstoječih fotografijah, ne da bi spremenil njihove značilne značilnosti in ohranil prepoznavnost izvirnega obraza. Na primer, s pomočjo HyperStyle lahko simulirate spremembo starosti osebe na fotografiji, spremenite frizuro, dodate očala, brado ali brke, naredite sliko videti kot lik iz risanke ali slikane slike, ter izraz obraza spremenite v tužnega ali veseljega. Sistem lahko usposobite ne le za spreminjanje človeških obrazov, temveč tudi za vse vrste predmetov, na primer za urejanje slik avtomobilov.
Obravnavana metoda je usmerjena v reševanje problema rekonstrukcije manjkajočih delov slike pri urejanju. V prej predlaganih metodah je bila izbira med rekonstrukcijo in urejanjem rešena z natančnim nastavljanjem generatorja slik za vložitev delov ciljne slike pri obnovi prvotno manjkajočih urejenih področij. Pomanjkljivost podobnih pristopov je potreba po dolgotrajnem ciljnem usposabljanju nevronske mreže za vsako sliko.
Metoda, ki temelji na algoritmu StyleGAN, omogoča uporabo standardnega modela, vnaprej usposobljenega na splošnih zbirkah slik, za generiranje elementov, značilnih za izvirno sliko, z ravnjo verodostojnosti, primerljivo z algoritmi, ki zahtevajo individualno usposabljanje modela za vsako sliko. Med prednostmi nove metode se izpostavlja tudi možnost spreminjanja slik z zmogljivostjo, blizu realnemu času.
Modeli i trenirani modeli su pripremljeni za lica ljudi, automobila i životinja na osnovu kolekcija Flickr-Faces-HQ (FFHQ, 70.000 visokokvalitetnih PNG slika ljudskih lica), Stanford Cars (16.000 slika automobila) i AFHQ (fotografije životinja). Dodatno je obezbeđen alat za obuku vlastitih modela, kao i gotovi trenirani modeli generičkih enkodera i generatora koje je moguće koristiti. Na primer, dostupni su generatori za kreiranje slika u stilu Toonify, Pixar likova, formiranje skica i čak stilizovanje kao princeze iz Disneyevih crtaća.
Izvor: opennet.ru
