Et team af forskere fra Tel Aviv University har afsløret HyperStyle, en omvendt version af NVIDIAs StyleGAN2 maskinlæringssystem, der er blevet redesignet til at genskabe manglende dele ved redigering af virkelige billeder. Koden er skrevet i Python ved hjælp af PyTorch-rammeværket og distribueret under MIT-licensen.
Hvis StyleGAN giver dig mulighed for at syntetisere realistisk udseende nye ansigter af mennesker ved at indstille parametre som alder, køn, hårlængde, smilemønster, næseform, hudfarve, briller og fotovinkel, så gør HyperStyle det muligt at ændre lignende parametre i eksisterende fotos uden at ændre deres karakteristiske træk og bevare genkendeligheden af det originale ansigt. For eksempel ved hjælp af HyperStyle kan du simulere en ændring i en persons alder på et billede, ændre en frisure, tilføje briller, skæg eller overskæg, få et billede til at ligne en tegneseriefigur eller et håndtegnet billede, lave en trist eller muntert udtryk. I dette tilfælde kan systemet trænes ikke kun til at ændre ansigter på mennesker, men også til alle objekter, for eksempel til redigering af billeder af biler.
Den foreslåede metode er rettet mod at løse problemet med rekonstruktionen af de manglende dele af billedet ved redigering. I de tidligere metoder blev kompromiset mellem rekonstruktion og redigerbarhed løst ved at finjustere billedgeneratoren til at erstatte dele af målbilledet ved genskabelse af oprindeligt manglende redigerbare områder. Ulempen ved sådanne tilgange er behovet for langsigtet målrettet træning af det neurale netværk for hvert billede.
Metoden baseret på StyleGAN-algoritmen gør det muligt at bruge en typisk model, som tidligere er trænet på almindelige billedsamlinger, til at generere elementer, der er karakteristiske for det originale billede med et sikkerhedsniveau, der kan sammenlignes med algoritmer, der kræver individuel træning af modellen for hvert billede . Blandt fordelene ved den nye metode bemærkes også muligheden for at ændre billeder med en ydeevne tæt på realtid.
De fortrænede modeller er forberedt til menneske-, bil- og dyreansigter baseret på samlingerne af Flickr-Faces-HQ (FFHQ, 70k højkvalitets PNG-billeder af menneskeansigter), Stanford Cars (16k billeder af biler) og AFHQ (fotos) af dyr). Derudover leveres værktøjer til træning af deres modeller, såvel som færdige trænede modeller af typiske indkodere og generatorer, der er egnede til brug med dem. For eksempel er generatorer tilgængelige til at skabe billeder i Toonify-stil, Pixar-figurer, skitsere og endda style dem som Disney-prinsesser.
Kilde: opennet.ru