Një grup kërkuesish nga Universiteti i Tel Avivit prezantoi HyperStyle, një variant të përmbysur të sistemit të mësimit të makinerive StyleGAN2, i zhvilluar nga kompania NVIDIA, i cili është rishikuar për të rikrijuar pjesët e munguara gjatë redaktimit të imazheve reale. Kodi është shkruar në gjuhën Python me përdorimin e framework-ut PyTorch dhe shpërndahet nën licencën MIT.
NĂ«se StyleGAN lejon krijimin e fytyrave tĂ« reja tĂ« njerĂ«zve qĂ« duken realistike, duke caktuar parametra tĂ« tillĂ« si mosha, seksi, gjatĂ«sia e flokĂ«ve, karakteri i buzĂ«qeshjes, forma e hundĂ«s, ngjyra e lĂ«kurĂ«s, syzet dhe ââkĂ«ndin e fotografisĂ«, HyperStyle ofron mundĂ«sinĂ« pĂ«r tĂ« ndryshuar parametra tĂ« ngjashĂ«m nĂ« fotografitĂ« ekzistuese, pa ndryshuar karakteristikat e tyre tĂ« veçanta dhe duke ruajtur njohshmĂ«rinĂ« e fytyrĂ«s origjinale. PĂ«r shembull, me ndihmĂ«n e HyperStyle, mund tĂ« simulohet ndryshimi i moshĂ«s sĂ« njĂ« personi nĂ« fotografi, tĂ« ndryshohet stilin e flokĂ«ve, tĂ« shtohen syzet, mjekra ose mustaqet, tĂ« jepet imazhit pamja e njĂ« personazhi nga njĂ« karton ose njĂ« pikturĂ« e vizatuar, ose tĂ« bĂ«het shprehja e fytyrĂ«s tĂ« duket e trishtĂ« apo e lumtur. NĂ« tĂ« njĂ«jtĂ«n kohĂ«, sistemi mund tĂ« trajnohet jo vetĂ«m pĂ«r tĂ« ndryshuar fytyrat e njerĂ«zve, por edhe pĂ«r objekte tĂ« ndryshme, pĂ«r shembull, pĂ«r redaktimin e imazheve tĂ« automjeteve.
Metoda e propozuar synon të zgjidhë problemin e rikonstruktimit të pjesëve të mungesës së imazhit gjatë redaktimit. Në metodat e mëparshme, kompromisi midis rikonstruktimit dhe redaktueshmërisë është zgjidhur përmes rregullimit të hollësishëm të gjeneruesit të imazheve për të zëvendësuar pjesët e imazhit të synuar gjatë rikrijimit të fushave të redaktueshme që iu mungonin fillimisht. Një mangësi e këtyre qasjeve është nevoja për trajnim të gjatë të personalizuar të rrjetit nervor për çdo imazh.
Metoda e bazuar në algoritmin StyleGAN ofron mundësinë për të përdorur një model standard, të parapërgatitur në koleksione të përgjithshme imazhi, për të gjeneruar elemente të ngjashme me imazhin origjinal me një nivel besueshmërie që është krahasueshëm me algoritmet që kërkojnë trajnimin individual të modelit për çdo imazh. Një nga avantazhet e metodës së re është gjithashtu mundësia për të modifikuar imazhet me performancë të afërt me atë të kohës reale.
Modelet e trajnuara janë të gatshme për fytyra njerëzish, makinash dhe kafshësh bazuar në koleksionet Flickr-Faces-HQ (FFHQ, 70 mijë imazhe PNG me cilësi të lartë të fytyrave të njerëzve), Stanford Cars (16 mijë imazhe makinash) dhe AFHQ (fotografi kafshësh). Për më tepër, ofrohet një vegël për të trajnuar modelet tuaja, si dhe modelet e trajnuara të koduesve dhe gjeneruesve që mund të përdoren me to. Për shembull, janë të disponueshme gjenerues për krijimin e imazheve në stilin Toonify, personazheve Pixar, formimin e skicave dhe madje edhe për stilizimin si princesha nga filmat animatografikë të Disney-t.
Burimi: opennet.ru
