A Tel Avivi Egyetem kutatóiból álló csapat bemutatta a HyperStyle-t, az NVIDIA StyleGAN2 gépi tanulási rendszerének fordított változatát, amelyet úgy alakítottak át, hogy a valós képek szerkesztése során újra előállítsa a hiányzó részeket. A kód Python nyelven íródott a PyTorch keretrendszer segítségével, és az MIT licenc alatt kerül terjesztésre.
Ha a StyleGAN lehetővé teszi az emberek valósághűnek tűnő új arcainak szintetizálását olyan paraméterek beállításával, mint az életkor, nem, hajhossz, mosolyminta, orrforma, bőrszín, szemüveg és fényképezési szög, akkor a HyperStyle lehetővé teszi a hasonló paraméterek megváltoztatását a meglévőkben. fényképeket anélkül, hogy megváltoztatnák jellemző vonásaikat és megőriznék az eredeti arc felismerhetőségét. Például a HyperStyle segítségével szimulálhatja egy fényképen szereplő személy életkorának változását, frizurát változtathat, szemüveget, szakállat vagy bajuszt adhat hozzá, a képet rajzfilmfigurához vagy kézzel rajzolt képhez hasonlíthatja, szomorú vagy vidám kifejezés. Ebben az esetben a rendszer nem csak az emberek arcának megváltoztatására tanítható, hanem bármilyen objektumra is, például autók képeinek szerkesztésére.
A javasolt módszer a kép hiányzó részeinek szerkesztés közbeni rekonstrukciójával kapcsolatos probléma megoldására irányul. Az előző módszerekben a rekonstrukció és a szerkeszthetőség közötti kompromisszumot úgy oldották meg, hogy a képgenerátort úgy finomhangolták, hogy a kezdetben hiányzó szerkeszthető területek újra létrehozásakor a célkép egyes részeit helyettesítsék. Az ilyen megközelítések hátránya, hogy minden egyes kép esetében szükség van a neurális hálózat hosszú távú célzott képzésére.
A StyleGAN algoritmuson alapuló módszer lehetővé teszi, hogy egy tipikus, korábban gyakori képgyűjteményre betanított modellt használjunk az eredeti képre jellemző elemek előállításához olyan megbízhatósági szinten, mint azokhoz az algoritmusokhoz, amelyek minden egyes képhez egyedi modellképzést igényelnek. . Az új módszer előnyei között szerepel a képek valós időhöz közeli teljesítménnyel történő módosításának lehetősége is.
A Flickr-Faces-HQ (FFHQ, 70 ezer kiváló minőségű PNG kép emberi arcokról), a Stanford Cars (16 ezer autókép) és az AFHQ kollekciói alapján kész betanított modelleket készítenek emberi, autós és állati arcokra. (állatok fényképei). Ezen túlmenően modelljeik betanításához eszközöket biztosítanak, valamint a tipikus kódolók és generátorok kész betanított modelljeit, amelyek alkalmasak velük való használatra. Például generátorok állnak rendelkezésre Toonify-stílusú képek, Pixar-karakterek készítésére, vázlatok készítésére, sőt Disney-hercegnőkhöz hasonló stílus kialakítására is.
Forrás: opennet.ru