Skupina vedcov z Telavivskej univerzity predstavila HyperStyle, inverznú variantu systému strojového učenia StyleGAN2 vyvinutého spoločnosťou NVIDIA, prepracovanú na rekonštrukciu chýbajúcich častí pri úprave skutočných obrázkov. Kód je napísaný v programovacom jazyku Python s použitím rámca PyTorch a je distribuovaný pod licenciou MIT.
Ak StyleGAN umožňuje syntetizovať realisticky vyzerajúce nové tváre ľudí, nastavovaním takých parametrov, ako sú vek, pohlavie, dĺžka vlasov, charakter úsmevu, tvar nosa, farba pleti, okuliare a uhol fotografie, HyperStyle umožňuje zmeniť podobné parametre už existujúcich fotografií, pričom nezmení ich charakteristické črty a zachováva rozpoznateľnosť pôvodnej tváre. Napríklad, pomocou HyperStyle môžete simulovať zmenu veku človeka na fotografii, zmeniť účes, pridať okuliare, bradu alebo fúzy, dať obrázku vzhľad postavy z rozprávky alebo kresleného obrazu, zmeniť výraz tváre na smutný alebo veselý. Pri tom môže byť systém vycvičený nielen na zmenu tvárí ľudí, ale aj na akékoľvek predmety, napríklad na úpravu obrázkov automobilov.
Navrhnutá metóda sa zameriava na riešenie problému rekonštrukcie chýbajúcich častí obrázka pri úprave. V predtým navrhnutých metódach sa kompromis medzi rekonštrukciou a editovateľnosťou riešil jemným doladením generátora obrázkov na substitúciu častí cieľového obrázka pri vytváraní pôvodne chýbajúcich editovateľných oblastí. Nedostatkom týchto prístupov je potreba dlhého cieľového učenia neurónovej siete pre každý obrázok.
Metóda založená na algoritme StyleGAN umožňuje používať typový model, ktorý bol predtým natrénovaný na všeobecných zbierkach obrázkov, na generovanie prvkov prislúchajúcich pôvodnému obrázku, s úrovňou dôveryhodnosti porovnateľnou s algoritmami, ktoré vyžadujú individuálne tréningové modely pre každý obrázok. Medzi výhody novej metódy patrí aj možnosť modifikácie obrázkov s rýchlosťou blízkou reálnemu času.
Hotové natrénované modely sú pripravené pre tváre ľudí, autá a zvieratá na základe zbierok Flickr-Faces-HQ (FFHQ, 70 tisíc vysoko kvalitných PNG obrázkov tvárí ľudí), Stanford Cars (16 tisíc obrázkov áut) a AFHQ (fotografie zvierat). Navyše je k dispozícii nástroj pre tréning vlastných modelov, ako aj použiteľné hotové natrénované modely typových kodérov a generátorov. Napríklad sú k dispozícii generátory na vytváranie obrázkov v štýle Toonify, postáv Pixar, vytváranie skíc a dokonca na stylizáciu do princezien z disneyovských rozprávok.
Zdroj: opennet.ru
