Një grup kërkuesish nga Universiteti i Tel Avivit prezantoi HyperStyle, një variant i kundërt i sistemit të mësimit të makinerive StyleGAN2, i zhvilluar nga kompania NVIDIA, i strukturuar për të rikrijuar pjesët e munguara gjatë redaktimit të imazheve reale. Kodi është shkruar në gjuhën Python duke përdorur kornizën PyTorch dhe shpërndahet nën licencën MIT.
Nëse StyleGAN mundëson sintezën e fytyrave të reja që duken realiste, duke caktuar parametra të tillë si mosha, gjinia, gjatësia e flokëve, karakteri i buzëqeshjes, forma e hundës, ngjyra e lëkurës, syzet dhe këndin e fotografisë, HyperStyle ofron mundësinë për të ndryshuar parametrat e ngjashëm në fotografi ekzistuese, pa ndryshuar tiparet e tyre karakteristike dhe duke ruajtur njohshmërinë e fytyrës origjinale. Për shembull, me ndihmën e HyperStyle, mund të simulohet ndryshimi i moshës së një personi në fotografi, të ndryshohet stili i flokëve, të shtohen syze, mjekra ose mustaqe, t'i jepet imazhit pamja e një personazhi nga një kartoon ose pikturë, të bëhet shprehja e fytyrës e trishtuar ose e gëzuar. Në të njëjtën kohë, sistemi mund të stërvitet jo vetëm për të ndryshuar fytyrat e njerëzve, por edhe për objektet e tjera, për shembull, për redaktimin e imazheve të makinave.
Metoda e propozuar ka si qëllim të zgjidhë problemin e rikonstruksionit të pjesëve të munguara të imazhit gjatë redaktimit. Në metodat e mëparshme të propozuara, kompromisi midis rikonstruksionit dhe redaktueshmërisë është zgjidhur përmes rregullimit të imët të gjeneratorit të imazheve për të zëvendësuar pjesët e imazhit që ka si qëllim gjatë rikrijimit të zonave të redaktueshme që mungojnë origjinalisht. Një nga disavantazhet e këtyre qasjeve është nevoja për një stërvitje të gjatë të synuar të rrjetit nervor për çdo imazh.
Metoda e bazuar në algoritmin StyleGAN ofron mundësinë për të përdorur një model tipik, të trajnuar paraprakisht në koleksione të përgjithshme imazhesh, për të gjeneruar elemente që i përkasin imazhit origjinal me një nivel saktësie të krahasueshëm me algoritmet që kërkojnë trajnimin individual të modelit për çdo imazh. Një avantazh i metodës së re është gjithashtu mundësia për të modifikuar imazhet me një rendiment të afërt me atë të kohës reale.
Modelet e trajnuara janë përgatitur për fytyrat e njerëzve, makinat dhe kafshët mbi baza të koleksioneve Flickr-Faces-HQ (FFHQ, 70 mijë imazhe me cilësi të lartë PNG të fytyrave të njerëzve), Stanford Cars (16 mijë imazhe makinash) dhe AFHQ (fotografi kafshësh). Gjithashtu është ofruar një vegël për trajnimin e modeleve të veta, si dhe modele të trajnuara që mund të përdoren me to, përfshirë kodifikues dhe gjenerues. Për shembull, janë të disponueshme gjeneratorë për të krijuar imazhe në stilin Toonify, karaktere Pixar, skica dhe madje edhe për stilizimin si princeshat nga filmat animatografikë të Disney-t.
Burimi: opennet.ru
