Tým výzkumníků z Tel Avivské univerzity odhalil HyperStyle, obrácenou verzi systému strojového učení NVIDIA StyleGAN2, který byl přepracován tak, aby při úpravách reálných obrázků znovu vytvořil chybějící části. Kód je napsán v Pythonu pomocí frameworku PyTorch a distribuován pod licencí MIT.
Pokud vám StyleGAN umožňuje syntetizovat realisticky vypadající nové tváře lidí nastavením parametrů, jako je věk, pohlaví, délka vlasů, vzor úsměvu, tvar nosu, barva pleti, brýle a úhel fotografie, pak HyperStyle umožňuje měnit podobné parametry ve stávajících fotografie beze změny jejich charakteristických rysů a zachování rozpoznatelnosti původní tváře. Pomocí HyperStyle můžete například simulovat změnu věku osoby na fotografii, změnit účes, přidat brýle, vousy nebo knír, vytvořit obrázek, který bude vypadat jako kreslená postavička nebo ručně kreslený obrázek, smutný nebo veselý výraz. V tomto případě lze systém natrénovat nejen pro změnu tváří lidí, ale také pro jakékoli předměty, například pro úpravu snímků automobilů.
Navržená metoda je zaměřena na řešení problému s rekonstrukcí chybějících částí obrazu při editaci. V předchozích metodách byl kompromis mezi rekonstrukcí a upravitelností vyřešen doladěním generátoru obrazu tak, aby nahradil části cílového obrazu při obnově původně chybějících upravitelných oblastí. Nevýhodou takových přístupů je nutnost dlouhodobého cíleného trénování neuronové sítě pro každý snímek.
Metoda založená na algoritmu StyleGAN umožňuje použít typický model, dříve trénovaný na běžných kolekcích obrázků, ke generování prvků charakteristických pro původní obrázek s úrovní spolehlivosti srovnatelnou s algoritmy, které vyžadují individuální trénování modelu pro každý obrázek. . Mezi výhody nové metody patří také možnost úpravy snímků s výkonem blízkým reálnému času.
Předtrénované modely jsou připraveny pro lidské, automobilové a zvířecí tváře na základě kolekcí Flickr-Faces-HQ (FFHQ, 70 16 vysoce kvalitních PNG obrázků lidských tváří), Stanford Cars (XNUMX XNUMX obrázků automobilů) a AFHQ (fotografie zvířat). Kromě toho jsou k dispozici nástroje pro trénování jejich modelů a také hotové trénované modely typických kodérů a generátorů vhodných pro použití s nimi. K dispozici jsou například generátory pro vytváření obrázků ve stylu Toonify, postav Pixar, skicování a dokonce i jejich styling jako Disney princezny.
Zdroj: opennet.ru