Tyrėjų komanda iš Tel Avivo universiteto pristatė HyperStyle – apverstą NVIDIA StyleGAN2 mašininio mokymosi sistemos versiją, kuri perkurta taip, kad būtų atkurtos trūkstamos dalys redaguojant tikrus vaizdus. Kodas parašytas Python naudojant PyTorch sistemą ir platinamas pagal MIT licenciją.
Jei StyleGAN leidžia susintetinti tikroviškai atrodančius naujus žmonių veidus, nurodant tokius parametrus kaip amžius, lytis, plaukų ilgis, šypsenos charakteris, nosies forma, odos spalva, akiniai ir nuotraukos kampas, tai HyperStyle leidžia keisti panašius esamų parametrų parametrus. nuotraukas, nekeičiant joms būdingų bruožų, išlaikant originalaus veido atpažinimą. Pavyzdžiui, naudodamiesi „HyperStyle“ galite imituoti nuotraukoje esančio žmogaus amžiaus pasikeitimą, pakeisti šukuoseną, pridėti akinius, barzdą ar ūsus, suteikti vaizdui animacinio filmo veikėjo ar ranka piešto paveikslo išvaizdą, padaryti liūdna ar linksma veido išraiška. Be to, sistema gali būti išmokyta ne tik keisti žmonių veidus, bet ir bet kokius objektus, pavyzdžiui, redaguoti automobilių vaizdus.
Siūlomas metodas skirtas išspręsti trūkstamų vaizdo dalių atkūrimo redagavimo metu problemą. Anksčiau pasiūlytuose metoduose kompromisas tarp rekonstrukcijos ir redagavimo buvo išspręstas tiksliai sureguliuojant vaizdo generatorių, kad būtų pakeistos tikslinio vaizdo dalys, atkuriant iš pradžių trūkstamus redaguojamus regionus. Tokių metodų trūkumas yra ilgalaikio tikslinio neuroninio tinklo lavinimo poreikis kiekvienam vaizdui.
StyleGAN algoritmu pagrįstas metodas leidžia naudoti standartinį modelį, iš anksto apmokytą naudoti įprastas vaizdų kolekcijas, kad būtų galima generuoti originaliam vaizdui būdingus elementus, kurių patikimumo lygis yra panašus į algoritmus, kuriems reikalingas individualus kiekvieno modelio mokymas. vaizdas. Kitas naujojo metodo pranašumas yra galimybė modifikuoti vaizdus, kurių našumas yra artimas realiajam laikui.
Paruošti apmokyti modeliai žmonių, automobilių ir gyvūnų veidams, remiantis kolekcijomis Flickr-Faces-HQ (FFHQ, 70 tūkst. aukštos kokybės PNG žmonių veidų vaizdų), Stanford Cars (16 tūkst. automobilių vaizdų) ir AFHQ (gyvūnų nuotraukos). Be to, pateikiami jūsų modelių mokymo įrankiai, taip pat paruošti treniruoti standartinių kodavimo įrenginių ir generatorių modeliai, tinkami naudoti su jais. Pavyzdžiui, yra generatoriai, skirti kurti Toonify stiliaus vaizdus, Pixar personažus, generuoti eskizus ir netgi stilizuoti princeses iš Disney animacinių filmų.
Šaltinis: opennet.ru