Skupina výzkumníků z Telavivské univerzity představila HyperStyle, invertovanou verzi vyvíjeného systému strojového učení StyleGAN2 od společnosti NVIDIA, která byla přepracována pro rekonstrukci chybějících částí při úpravě reálných obrázků. Kód je napsán v jazyce Python s využitím frameworku PyTorch a je šířen pod licencí MIT.
Zatímco StyleGAN umožňuje syntézu realisticky vypadajících nových tváří lidí nastavováním parametrů, jako jsou věk, pohlaví, délka vlasů, charakter úsměvu, tvar nosu, barva pleti, brýle a úhel fotografie, HyperStyle umožňuje měnit podobné parametry u již existujících fotografií, aniž by se měnily jejich charakteristické rysy a zachovávala se rozpoznatelnost původní tváře. Například pomocí HyperStyle lze simulovat změnu věku člověka na fotografii, změnit účes, přidat brýle, vousy nebo knír, dodat obrázku vzhled postavy z kresleného filmu nebo malby, změnit výraz tváře na smutný nebo veselý. Systém může být přitom vycvičen nejen pro změnu tváří lidí, ale i pro jakékoli objekty, například pro úpravu obrázků automobilů.
Navrhovaná metoda se zaměřuje na řešení problému rekonstrukce chybějících částí obrazu při úpravě. V dříve navrhovaných metodách byl kompromis mezi rekonstrukcí a editovatelností řešen jemným laděním generátoru obrazů pro substituci částí cílového obrázku při rekonstrukci původně chybějících editovatelných oblastí. Nevýhodou těchto přístupů je nutnost provádět dlouhé cílené školení neuronové sítě pro každý obrázek.
Metoda založená na algoritmu StyleGAN umožňuje využít typový model, předem vyškolený na obecných kolekcích obrázků, k generování prvků, které odpovídají původnímu obrázku, s úrovní přesnosti srovnatelnou s algoritmy, které vyžadují individuální školení modelu pro každý obrázek. Mezi výhody nové metody patří také možnost modifikovat obrázky s výkonem blízkým reálnému času.
Hotové vyškolené modely byly připraveny pro obličeje lidí, automobily a zvířata na základě kolekcí Flickr-Faces-HQ (FFHQ, 70 tisíc vysoce kvalitních PNG obrázků obličejů lidí), Stanford Cars (16 tisíc obrázků automobilů) a AFHQ (fotografie zvířat). Dále je k dispozici nástroj pro školení vlastních modelů, jakož i použitelné připravené vyškolené modely typových enkodérů a generátorů. Například jsou k dispozici generátory pro vytváření obrázků ve stylu Toonify, postav Pixar, formování skic a dokonce i pro stylizaci podle princezen z disneyovských animovaných filmů.
Zdroj: opennet.ru
