Een team onderzoekers van de Universiteit van Tel Aviv presenteerde HyperStyle, een omgekeerde versie van NVIDIA's StyleGAN2 machine learning-systeem dat opnieuw is ontworpen om de ontbrekende delen opnieuw te creëren bij het bewerken van echte afbeeldingen. De code is geschreven in Python met behulp van het PyTorch-framework en wordt gedistribueerd onder de MIT-licentie.
Als StyleGAN u in staat stelt realistisch ogende nieuwe gezichten van mensen te synthetiseren door parameters zoals leeftijd, geslacht, haarlengte, glimlachkarakter, neusvorm, huidskleur, bril en fotohoek te specificeren, dan maakt HyperStyle het mogelijk om soortgelijke parameters in bestaande te wijzigen. foto's zonder hun karakteristieke kenmerken te veranderen, terwijl de herkenning van het originele gezicht behouden blijft. Met HyperStyle kunt u bijvoorbeeld een verandering in de leeftijd van een persoon op een foto simuleren, het kapsel veranderen, een bril, een baard of snor toevoegen, de afbeelding het uiterlijk geven van een stripfiguur of een handgetekend schilderij, een droevige of vrolijke gezichtsuitdrukking. Bovendien kan het systeem niet alleen worden getraind om de gezichten van mensen te veranderen, maar ook om objecten te bewerken, bijvoorbeeld om afbeeldingen van auto's te bewerken.
De voorgestelde methode is gericht op het oplossen van het probleem van het reconstrueren van ontbrekende delen van een afbeelding tijdens het bewerken. Bij eerder voorgestelde methoden werd de afweging tussen reconstructie en bewerkbaarheid opgelost door de beeldgenerator te verfijnen om delen van de doelafbeelding te vervangen bij het opnieuw creëren van aanvankelijk ontbrekende bewerkbare gebieden. Het nadeel van dergelijke benaderingen is de noodzaak van langdurige gerichte training van het neurale netwerk voor elk beeld.
De methode gebaseerd op het StyleGAN-algoritme maakt het mogelijk om een standaardmodel te gebruiken, vooraf getraind op gemeenschappelijke verzamelingen afbeeldingen, om elementen te genereren die kenmerkend zijn voor de originele afbeelding met een betrouwbaarheidsniveau vergelijkbaar met algoritmen die individuele training van het model voor elke afbeelding vereisen. afbeelding. Een ander voordeel van de nieuwe methode is de mogelijkheid om afbeeldingen aan te passen met prestaties die bijna realtime zijn.
Kant-en-klare getrainde modellen worden voorbereid op de gezichten van mensen, auto's en dieren op basis van de collecties Flickr-Faces-HQ (FFHQ, 70 hoogwaardige PNG-afbeeldingen van gezichten van mensen), Stanford Cars (16 afbeeldingen van auto's) en AFHQ (foto's van dieren). Daarnaast worden er hulpmiddelen geleverd voor het trainen van uw modellen, evenals kant-en-klare getrainde modellen van standaard encoders en generatoren die geschikt zijn om ermee te gebruiken. Er zijn bijvoorbeeld generatoren beschikbaar voor het maken van afbeeldingen in Toonify-stijl, Pixar-personages, het genereren van schetsen en zelfs het stylen van prinsessen uit Disney-tekenfilms.
Bron: opennet.ru