Ett team av forskare från Tel Aviv University presenterade HyperStyle, en inverterad version av NVIDIAs StyleGAN2 maskininlärningssystem som är omdesignat för att återskapa de saknade delarna vid redigering av riktiga bilder. Koden är skriven i Python med PyTorch-ramverket och distribueras under MIT-licensen.
Om StyleGAN låter dig syntetisera realistiska nya ansikten av människor genom att specificera parametrar som ålder, kön, hårlängd, leende karaktär, näsform, hudfärg, glasögon och fotografivinkel, då gör HyperStyle det möjligt att ändra liknande parametrar i befintliga fotografier utan att ändra deras karakteristiska egenskaper samtidigt som det behåller igenkänningen av det ursprungliga ansiktet. Med hjälp av HyperStyle kan du till exempel simulera en förändring av en persons ålder på ett foto, ändra frisyr, lägga till glasögon, skägg eller mustasch, ge bilden utseendet av en seriefigur eller en handritad målning, göra ett sorgligt eller glatt ansiktsuttryck. Dessutom kan systemet tränas inte bara för att ändra människors ansikten, utan också för alla objekt, till exempel för att redigera bilder av bilar.
Den föreslagna metoden syftar till att lösa problemet med att rekonstruera saknade delar av en bild under redigering. I tidigare föreslagna metoder löstes avvägningen mellan rekonstruktion och redigerbarhet genom att finjustera bildgeneratorn för att ersätta delar av målbilden när man återskapade initialt saknade redigerbara regioner. Nackdelen med sådana tillvägagångssätt är behovet av långsiktig målinriktad träning av det neurala nätverket för varje bild.
Metoden baserad på StyleGAN-algoritmen gör det möjligt att använda en standardmodell, förtränad på vanliga bildsamlingar, för att generera element som är karakteristiska för originalbilden med en tillförlitlighetsnivå jämförbar med algoritmer som kräver individuell träning av modellen för varje bild. En annan fördel med den nya metoden är möjligheten att modifiera bilder med prestanda nära realtid.
Färdiga utbildade modeller är förberedda för ansikten på människor, bilar och djur baserat på samlingarna Flickr-Faces-HQ (FFHQ, 70 tusen högkvalitativa PNG-bilder av människors ansikten), Stanford Cars (16 tusen bilder av bilar) och AFHQ (foton på djur). Dessutom tillhandahålls verktyg för att träna dina modeller, såväl som färdiga utbildade modeller av standardkodare och generatorer som är lämpliga för användning med dem. Till exempel finns generatorer tillgängliga för att skapa bilder i Toonify-stil, Pixar-karaktärer, skapa skisser och till och med stilisera prinsessor från Disney-tecknade filmer.
Källa: opennet.ru