Tel Avivi ülikooli teadlaste rühm esitas HyperStyle'i, NVIDIA arendatava StyleGAN2 masinõppe süsteemi pöördversiooni, mis on kohandatud puuduvate osade rekonstrueerimiseks reaalseid pilte redigeerides. Kood on kirjutatud Pythonis, kasutades PyTorch raamistikku, ja see levitakse MIT litsentsi alusel.
Kui StyleGAN võimaldab sünteesida realistlikult näitavaid uusi inimesi, määrates sellised parameetrid nagu vanus, sugu, juuste pikkus, naeratuse iseloom, nina kuju, naha värv, prillid ja foto nurk, siis HyperStyle annab võimaluse muuta sarnaseid parameetreid juba olemasolevates fotodes, muutes nende iseloomulikke jooni ja säilitades algse näo äratuntavuse. Näiteks võimaldab HyperStyle simuleerida inimese vanuse muutumist fotos, vahetada soengut, lisada prille, habe või vuntse, anda pildile multikategelase või maalitud maali välimuse, muuta näoilme kurvaks või rõõmsaks. Samuti võib süsteemi koolitada mitte ainult inimeste nägude muutmiseks, vaid ka ükskõik milliste esemete, näiteks autode piltide muutmiseks.
Pakutud meetod keskendub lahenduse leidmisele probleemile, mis on seotud puudu olevate piltide osade rekonstrueerimisega redigeerimise käigus. Varasemates meetodites lahendati kompromiss rekonstrueerimise ja redigeeritavuse vahel piltide generaatori täpsustamise teel, et asendada sihtpildi osi puuduvate redigeeritavate alade taastamisel. Selliste lähenemisviiside puuduseks on vajadus pikaajalise sihitud treeningu järele närvivõrgu jaoks iga pildi puhul.
StyleGAN-algoritmil põhinev meetod võimaldab kasutada tüüpilist mudelit, mis on eelnevalt koolitatud tavaliste pildikollektsioonide peal, algsete piltide elementide genereerimiseks, mille usaldusväärsuse tase on võrreldav algoritmidega, mis nõuavad individuaalset mudeli treenimist iga pildi kohta. Uue meetodi eeliseks on ka piltide modifitseerimise võimalus, mille jõudlus on lähedane reaalajas töötlusele.
Valmis koolitatud mudelid on loodud inimeste, autode ja loomade nägude põhjal, kasutades Flickr-Faces-HQ (FFHQ, 70 000 kvaliteetset PNG-pilti inimestest), Stanford Cars (16 000 auto pilti) ja AFHQ (loomade fotod) kollektsioone. Lisaks on saadaval tööriistad oma mudelite koolitamiseks, samuti eelnevalt koolitatud mudeleid standardsete kodeerijate ja genereerijate jaoks, mida on lihtne kasutada. Näiteks on saadaval generaatorid Toonify stiilis piltide loomiseks, Pixar tegelaste loomiseks, sketšide genereerimiseks ja isegi Disney multikates printsi stiilimiseks.
Allikas: opennet.ru
