Et team av forskere fra Tel Aviv University presenterte HyperStyle, en invertert versjon av NVIDIAs StyleGAN2 maskinlæringssystem som er redesignet for å gjenskape de manglende delene ved redigering av ekte bilder. Koden er skrevet i Python ved hjelp av PyTorch-rammeverket og distribueres under MIT-lisensen.
Hvis StyleGAN lar deg syntetisere realistisk utseende nye ansikter til mennesker ved å spesifisere parametere som alder, kjønn, hårlengde, smilekarakter, neseform, hudfarge, briller og fotografivinkel, så gjør HyperStyle det mulig å endre lignende parametere i eksisterende fotografier uten å endre deres karakteristiske trekk samtidig som gjenkjennelsen av det originale ansiktet opprettholdes. Ved å bruke HyperStyle kan du for eksempel simulere en endring i alderen til en person på et bilde, endre frisyren, legge til briller, skjegg eller bart, gi bildet utseendet til en tegneseriefigur eller et håndtegnet maleri, lage et trist eller muntert ansiktsuttrykk. Dessuten kan systemet trenes til ikke bare å endre ansikter til folk, men også for alle objekter, for eksempel for å redigere bilder av biler.
Den foreslåtte metoden er rettet mot å løse problemet med å rekonstruere manglende deler av et bilde under redigering. I tidligere foreslåtte metoder ble avveiningen mellom rekonstruksjon og redigerbarhet løst ved å finjustere bildegeneratoren for å erstatte deler av målbildet når man gjenskapte opprinnelig manglende redigerbare områder. Ulempen med slike tilnærminger er behovet for langsiktig målrettet trening av det nevrale nettverket for hvert bilde.
Metoden basert på StyleGAN-algoritmen gjør det mulig å bruke en standardmodell, forhåndstrent på vanlige samlinger av bilder, for å generere elementer som er karakteristiske for originalbildet med et pålitelighetsnivå som kan sammenlignes med algoritmer som krever individuell opplæring av modellen for hver bilde. En annen fordel med den nye metoden er muligheten til å modifisere bilder med ytelse nær sanntid.
Ferdiglagde trente modeller er forberedt for ansiktene til mennesker, biler og dyr basert på samlingene Flickr-Faces-HQ (FFHQ, 70 tusen høykvalitets PNG-bilder av folks ansikter), Stanford Cars (16 tusen bilder av biler) og AFHQ (bilder av dyr). I tillegg leveres verktøy for å trene modellene dine, samt ferdiglagde opplærte modeller av standardkodere og generatorer som er egnet for bruk med dem. For eksempel er generatorer tilgjengelige for å lage bilder i Toonify-stil, Pixar-karakterer, generere skisser og til og med stilisere prinsesser fra Disney-tegneserier.
Kilde: opennet.ru