Telavivas universitātes pētnieku komanda prezentēja HyperStyle, apgrieztu NVIDIA StyleGAN2 mašīnmācīšanās sistēmas versiju, kas ir pārveidota, lai, rediģējot reālus attēlus, atjaunotu trūkstošās daļas. Kods ir rakstīts Python, izmantojot PyTorch sistēmu, un tiek izplatīts saskaņā ar MIT licenci.
Ja StyleGAN ļauj sintezēt reālistiska izskata jaunas cilvēku sejas, norādot tādus parametrus kā vecums, dzimums, matu garums, smaida raksturs, deguna forma, ādas krāsa, brilles un fotografēšanas leņķis, tad HyperStyle ļauj mainīt līdzīgus parametrus esošajā. fotogrāfijas, nemainot to raksturīgās iezīmes, vienlaikus saglabājot oriģinālās sejas atpazīšanu. Piemēram, izmantojot HyperStyle, jūs varat simulēt fotoattēlā redzamā cilvēka vecuma izmaiņas, mainīt frizūru, pievienot brilles, bārdu vai ūsas, piešķirt attēlam multfilmas varoņa vai ar roku zīmētas gleznas izskatu, izveidot skumja vai jautra sejas izteiksme. Turklāt sistēmu var apmācīt ne tikai mainīt cilvēku sejas, bet arī jebkuru objektu, piemēram, lai rediģētu automašīnu attēlus.
Piedāvātā metode ir paredzēta, lai atrisinātu problēmu, kas saistīta ar trūkstošo attēla daļu rekonstrukciju rediģēšanas laikā. Iepriekš piedāvātajās metodēs kompromiss starp rekonstrukciju un rediģējamību tika atrisināts, precīzi noregulējot attēla ģeneratoru, lai aizstātu mērķa attēla daļas, atjaunojot sākotnēji trūkstošos rediģējamos reģionus. Šādu pieeju trūkums ir nepieciešamība pēc ilgtermiņa mērķtiecīgas neironu tīkla apmācības katram attēlam.
Metode, kuras pamatā ir StyleGAN algoritms, ļauj izmantot standarta modeli, kas iepriekš apmācīts uz kopīgām attēlu kolekcijām, lai ģenerētu oriģinālajam attēlam raksturīgus elementus ar tādu uzticamības līmeni, kas ir salīdzināms ar algoritmiem, kuriem katram nepieciešama individuāla modeļa apmācība. attēlu. Vēl viena jaunās metodes priekšrocība ir iespēja modificēt attēlus ar veiktspēju tuvu reālajam laikam.
Gatavi apmācīti modeļi tiek sagatavoti cilvēku, automašīnu un dzīvnieku sejām, pamatojoties uz kolekcijām Flickr-Faces-HQ (FFHQ, 70 tūkstoši augstas kvalitātes PNG attēlu cilvēku sejām), Stanford Cars (16 tūkstoši automašīnu attēlu) un AFHQ (dzīvnieku fotogrāfijas). Papildus tiek nodrošināti rīki jūsu modeļu apmācībai, kā arī gatavi apmācīti standarta kodētāju un ģeneratoru modeļi, kas piemēroti lietošanai kopā ar tiem. Piemēram, ir pieejami ģeneratori, lai izveidotu Toonify stila attēlus, Pixar varoņus, ģenerētu skices un pat stilizētu princeses no Disneja multfilmām.
Avots: opennet.ru