Ein Forscherteam der UniversitÀt Tel Aviv stellte HyperStyle vor, eine invertierte Version des von NVIDIA entwickelten maschinellen Lernsystems StyleGAN2, das umgebaut wurde, um fehlende Teile bei der Bearbeitung realer Bilder wiederherzustellen. Der Code ist in Python geschrieben und verwendet das Framework PyTorch und wird unter der MIT-Lizenz verbreitet.
Wenn StyleGAN in der Lage ist, realistisch aussehende, neue menschliche Gesichter zu synthetisieren, indem Parameter wie Alter, Geschlecht, HaarlĂ€nge, Art des LĂ€chelns, Nasenform, Hautfarbe, Brillen und Foto-Angle angegeben werden, so ermöglicht es HyperStyle, Ă€hnliche Parameter in bestehenden Fotos zu Ă€ndern, ohne die charakteristischen Merkmale zu verĂ€ndern und die Wiedererkennbarkeit des ursprĂŒnglichen Gesichts zu bewahren. Zum Beispiel kann man mit HyperStyle das Alter einer Person auf einem Foto simulieren, die Frisur Ă€ndern, Brillen, einen Bart oder Schnurrbart hinzufĂŒgen, dem Bild das Aussehen einer cartoonfigur oder eines GemĂ€ldes verleihen, oder den Gesichtsausdruck traurig oder fröhlich gestalten. Dabei kann das System nicht nur zum Ăndern von Gesichtern von Menschen, sondern auch fĂŒr beliebige Objekte trainiert werden, zum Beispiel zum Bearbeiten von Bildern von Automobilen.
Die vorgeschlagene Methode zielt darauf ab, das Problem der Rekonstruktion fehlender Teile eines Bildes beim Bearbeiten zu lösen. In zuvor vorgeschlagenen Methoden wurde der Kompromiss zwischen Rekonstruktion und Bearbeitbarkeit durch eine feine Anpassung des Bildgenerators gelöst, um Teile des Zielbildes beim Rekonstruieren ursprĂŒnglich fehlender bearbeitbarer Bereiche zu ersetzen. Ein Nachteil solcher AnsĂ€tze ist die Notwendigkeit eines langen zielgerichteten Trainings des neuronalen Netzwerks fĂŒr jedes Bild.
Die auf dem StyleGAN-Algorithmus basierende Methode ermöglicht die Verwendung eines typischen Modells, das im Voraus auf allgemeinen Bildsammlungen trainiert wurde, um Elemente, die dem ursprĂŒnglichen Bild eigen sind, mit einem Grad an Genauigkeit zu generieren, der mit Algorithmen vergleichbar ist, die ein individuelles Training des Modells fĂŒr jedes Bild erfordern. Zu den Vorteilen des neuen Verfahrens gehört auch die Möglichkeit, Bilder mit einer Leistung zu modifizieren, die nahe am Echtzeitbetrieb liegt.
Fertige trainierte Modelle sind fĂŒr Gesichter von Menschen, Maschinen und Tieren basierend auf Sammlungen wie Flickr-Faces-HQ (FFHQ, 70.000 hochwertige PNG-Bilder von menschlichen Gesichtern), Stanford Cars (16.000 Bilder von Autos) und AFHQ (Tierfotos) bereitgestellt. DarĂŒber hinaus steht Werkzeug zur VerfĂŒgung, um eigene Modelle zu trainieren, sowie einsatzbereite, trainierte Modelle typischer Encoder und Generatoren. Zum Beispiel sind Generatoren verfĂŒgbar, um Bilder im Toonify-Stil, Pixar-Charaktere, Skizzen und sogar Disney-Prinzessinnen zu erstellen.
Quelle: opennet.ru
