NVIDIA hat den Code von StyleGAN3, einem Machine-Learning-System zur Gesichtssynthese, veröffentlicht.

Das Unternehmen NVIDIA hat die Quelltexte von StyleGAN3 veröffentlicht, einem maschinellen Lernsystem, das auf einem generativen adversarialen neuronalen Netzwerk (GAN) basiert und darauf abzielt, realistische Bilder von menschlichen Gesichtern zu synthetisieren. Der Code ist in Python verfasst und nutzt das Framework PyTorch und wird unter der NVIDIA Source Code License veröffentlicht, die Einschränkungen für die kommerzielle Nutzung vorschreibt.

Bereit zum Download sind auch vorgefertigte, trainierte Modelle, die auf der Sammlung Flickr-Faces-HQ (FFHQ) basieren, die 70.000 hochauflösende (1024×1024) PNG-Bilder von menschlichen Gesichtern umfasst. Es gibt außerdem Modelle, die auf den Sammlungen AFHQv2 (Tierporträts) und Metfaces (Porträts von Menschen aus der klassischen Malerei) basieren. Der Fokus bei der Entwicklung liegt auf Gesichtern, aber das System kann auch für die Generierung beliebiger Objekte, wie Landschaften und Autos, trainiert werden. Darüber hinaus werden Werkzeuge bereitgestellt, um die neuronale Netzwerke selbstständig mit eigenen Bildsammlungen zu trainieren. Für den Betrieb sind eine oder mehrere NVIDIA-Grafikkarten (empfohlen werden GPU Tesla V100 oder A100), mindestens 12 GB RAM, PyTorch 1.9 und das CUDA 11.1+ Toolkit erforderlich. Zur Erkennung der künstlichen Beschaffenheit der generierten Gesichter wird ein spezieller Detektor entwickelt.

Das System ermöglicht die Synthese eines neuen Gesichts durch Interpolation der Merkmale mehrerer Gesichter, wobei charakteristische Eigenschaften kombiniert und das endgültige Bild an das erforderliche Alter, Geschlecht, die Haarlänge, den Charakter des Lächelns, die Nasenform, den Hautton, Brillen und den Fotowinkel angepasst wird. Der Generator betrachtet das Bild als Sammlung von Stilen, trennt automatisch charakteristische Details (Sommersprossen, Haare, Brillen) von allgemeinen hochrangigen Attributen (Posen, Geschlecht, Altersveränderungen) und ermöglicht deren beliebige Kombination unter der Festlegung dominierender Eigenschaften durch Gewichtungsfaktoren. Infolgedessen werden Bilder generiert, die von echten Fotografien nicht zu unterscheiden sind.

Die erste Variante der Technologie StyleGAN wurde 2019 veröffentlicht, gefolgt von einer verbesserten Edition, StyleGAN2, im Jahr 2020, die eine bessere Bildqualität ermöglicht und einige Artefakte beseitigt. Dabei blieb das System statisch, d.h. es erlaubte keine realistische Animation und Bewegung des Gesichts. Bei der Entwicklung von StyleGAN3 war das Hauptziel die Anpassung der Technologie für den Einsatz in Animation und Video.

In StyleGAN3 wurde eine überarbeitete Architektur zur Generierung von Bildern verwendet, die ohne Aliasing auskommt, und es wurden neue Trainingsszenarien für das neuronale Netzwerk vorgeschlagen. Neue Tools für die interaktive Visualisierung (visualizer.py), Analyse (avg_spectra.py) und Videogenerierung (gen_video.py) sind integriert. Darüber hinaus wurde der Speicherverbrauch reduziert und der Trainingsprozess beschleunigt.

Ein Hauptmerkmal der Architektur von StyleGAN3 ist der Übergang zur Interpretation aller Signale im neuronalen Netzwerk in Form kontinuierlicher Prozesse, was es ermöglicht, beim Erstellen von Details relative Positionen zu manipulieren, die nicht an absolute Koordinaten einzelner Pixel im Bild gebunden sind, sondern an die Oberfläche der dargestellten Objekte. In StyleGAN und StyleGAN2 führte die Bindung an Pixel bei der Generierung zu Problemen bei dynamischen Visualisierungen, z.B. kam es bei der Bewegung des Bildes zu einem Missverhältnis kleiner Details wie Falten und Haarsträhnen, die scheinbar unabhängig vom restlichen Gesicht bewegten. Mit StyleGAN3 wurden diese Probleme gelöst, und die Technologie ist nun gut geeignet zur Erstellung von Videos.

Zusätzlich kann die Ankündigung der Entwicklung des größten Sprachmodells MT-NLG durch die Unternehmen NVIDIA und Microsoft erwähnt werden, das auf einem tiefen neuronalen Netzwerk mit einer "Transformer"-Architektur basiert. Das Modell umfasst 530 Milliarden Parameter und für das Training wurde ein Cluster mit 4480 GPUs eingesetzt (560 DGX A100 mit je 8 GPU A100 80GB). Als Anwendungsbereiche des Modells werden die Lösung von Aufgaben in der Verarbeitung natürlicher Sprache genannt, wie z.B. die Vorhersage des Abschlusses unvollständiger Sätze, Antworten auf Fragen, Verständnis des Gelesenen, das Erstellen von Schlussfolgerungen in natürlicher Sprache und die Analyse von Mehrdeutigkeiten in der Bedeutung von Wörtern. Server Zu den Anwendungsgebieten des Modells gehören Aufgaben der Verarbeitung natürlicher Sprache, wie das Vorhersagen des Abschlusses unvollständiger Sätze, die Beantwortung von Fragen, das Verständnis von Texten, das Formulieren von Schlussfolgerungen in natürlicher Sprache und die Analyse von Mehrdeutigkeiten in der Bedeutung von Wörtern.

Quelle: opennet.ru