En gruppe forskere fra Tel Aviv Universitet har præsenteret HyperStyle, en inverteret variant af den maskinlæringssystem StyleGAN2, der udvikles af NVIDIA, som er omarbejdet til at genskabe manglende dele ved redigering af virkelige billeder. Koden er skrevet i Python med brug af PyTorch-rammen og distribueres under MIT-licensen.
Hvis StyleGAN muliggør syntese af realistisk udseende ansigtstræk ved at angive parametre som alder, køn, hårlængde, smil karakter, næseform, hudfarve, briller og fotografivinkel, så giver HyperStyle mulighed for at ændre tilsvarende parametre i allerede eksisterende fotografier uden at ændre deres karakteristiske træk og bevare genkendeligheden af den oprindelige person. For eksempel kan man med HyperStyle simulere en ændring i en persons alder på et foto, ændre frisyren, tilføje briller, et skjegg eller moustache, give billedet et udtryk som en tegneseriefigur eller maleri og ændre ansigtsudtrykket til trist eller glad. Systemet kan desuden trænes ikke kun til at ændre menneskelige ansigtstræk, men også til alle objekter, som for eksempel til redigering af bilbilleder.
Den foreslåede metode sigter mod at løse problemet med rekonstruktion af manglende dele af et billede ved redigering. I tidligere foreslåede metoder blev kompromisset mellem rekonstruktion og redigerbarhed løst gennem finjustering af billedgeneratoren til at indsætte dele af det målbillede, når det skulle genskabes fra oprindeligt fraværende redigerbare områder. Ulempen ved sådanne tilgange er behovet for at udføre langvarig målretning af et neuralt netværk for hvert billede.
Metoden baseret på StyleGAN-algoritmen giver mulighed for at bruge en generisk model, som er forkantstrænet på generelle billedsamlinger, til at generere elementer, der er karakteristiske for det oprindelige billede, med et troværdighedsniveau sammenligneligt med algoritmer, der kræver individuel modeltræning for hvert billede. Blandt fordelene ved den nye metode er også muligheden for at modificere billeder med en ydeevne tæt på realtid.
Færdigtrænede modeller er klar til ansigtstræning af mennesker, biler og dyr baseret på samlingerne Flickr-Faces-HQ (FFHQ, 70.000 højopløselige PNG-billeder af menneskelige ansigtter), Stanford Cars (16.000 billeder af biler) og AFHQ (dyrefotografier). Derudover gives værktøjer til træning af egne modeller og tilgængelige færdigtrænede modeller af standardkodere og generatorer. For eksempel er der generatorer til at skabe billeder i Toonify-stil, Pixar-figurer, skitser og endda til at stylisere som prinsesser fra Disney-tegnefilm.
Kilde: opennet.ru
