NVIDIA hat den Code von StyleGAN3 veröffentlicht, einem maschinellen Lernsystem zur Gesichtsynthese.

Das Unternehmen NVIDIA hat die Quelltexte von StyleGAN3 veröffentlicht, einem auf generativen antogonistischen neuronalen Netzen (GAN) basierenden maschinellen Lernsystem, das auf die Synthese realistischer Bilder von menschlichen Gesichtern abzielt. Der Code ist in Python unter Verwendung des PyTorch-Frameworks geschrieben und wird unter der NVIDIA Source Code License verteilt, die Einschränkungen für die kommerzielle Nutzung auferlegt.

Es sind auch vortrainierte Modelle verfügbar, die auf der Flickr-Faces-HQ (FFHQ) Sammlung basieren, die 70.000 hochqualitative (1024×1024) PNG-Bilder von Gesichtern enthält. Darüber hinaus gibt es Modelle, die auf den Sammlungen AFHQv2 (Tierbilder) und Metfaces (Gesichter aus klassischen Maler-Porträts) basieren. Der Schwerpunkt liegt auf Gesichtern, aber das System kann auch auf die Generierung anderer Objekte, wie Landschaften und Autos, trainiert werden. Zusätzlich werden Werkzeuge zur Verfügung gestellt, um das neuronale Netzwerk mit eigenen Bildsammlungen selbst zu trainieren. Für den Betrieb wird eine oder mehrere NVIDIA-Grafikkarten benötigt (empfohlen wird eine GPU Tesla V100 oder A100), mindestens 12 GB RAM, PyTorch 1.9 und CUDA 11.1+ Toolkit. Ein spezieller Detektor wird entwickelt, um den künstlichen Charakter der generierten Gesichter zu erkennen.

Das System ermöglicht die Synthese eines neuen Gesichtsbildes durch die Interpolation der Merkmale mehrerer Gesichter, indem es deren spezifische Eigenschaften kombiniert und das endgültige Bild an das erforderliche Alter, Geschlecht, die Haarlänge, die Art des Lächelns, die Form der Nase, den Hautton, Brillen sowie den Blickwinkel des Fotos anpasst. Der Generator betrachtet das Bild als eine Sammlung von Stilen, trennt automatisch charakteristische Details (Sommersprossen, Haare, Brillen) von allgemeinen hochrangigen Attributen (Pose, Geschlecht, altersbedingte Veränderungen) und ermöglicht es, sie in beliebiger Weise mit der Definition der dominierenden Eigenschaften über Gewichtungsfaktoren zu kombinieren. Infolgedessen werden Bilder generiert, die von echten Fotografien nicht zu unterscheiden sind.

Die erste Version der StyleGAN-Technologie wurde 2019 veröffentlicht, gefolgt von einer verbesserten Version, StyleGAN2, im Jahr 2020. Diese bot eine höhere Bildqualität und beseitigte einige Artefakte. Allerdings blieb das System statisch, was realistische Animationen und Gesichtsmotionen verhinderte. Ziel bei der Entwicklung von StyleGAN3 war es, die Technologie so anzupassen, dass sie für Animationen und Videos verwendet werden kann.

In StyleGAN3 kommt eine überarbeitete Architektur zur Generierung von Bildern zum Einsatz, die aliasing-frei ist, sowie neue Trainingsszenarien für das neuronale Netzwerk. Es wurden neue Werkzeuge für die interaktive Visualisierung (visualizer.py), Analyse (avg_spectra.py) und Videoerstellung (gen_video.py) integriert. Zudem wurde der Speicherverbrauch reduziert und der Trainingsprozess beschleunigt.

Ein zentrales Merkmal der Architektur von StyleGAN3 ist der Übergang zur Interpretation aller Signale im neuronalen Netzwerk als kontinuierliche Prozesse. Dies ermöglicht es, bei der Detailgenerierung relative Positionen zu manipulieren, die nicht an absolute Koordinaten einzelner Pixel im Bild gebunden sind, sondern an der Oberfläche der dargestellten Objekte verankert sind. In StyleGAN und StyleGAN2 führte die Bindung an Pixel bei der Generierung zu Problemen bei der dynamischen Visualisierung. Beispielsweise traten beim Bewegen des Bildes Inkonsistenzen bei feinen Details wie Falten und Haaren auf, die sich scheinbar unabhängig vom Rest des Gesichts bewegten. Diese Probleme wurden in StyleGAN3 gelöst, und die Technologie ist nun gut geeignet für die Erstellung von Videos.

Darüber hinaus ist die Ankündigung der Entwicklung des größten Sprachmodells MT-NLG durch die Unternehmen NVIDIA und Microsoft erwähnenswert. Dieses Modell basiert auf einem tiefen neuronalen Netzwerk mit einer 'Transformator'-Architektur. Es umfasst 530 Milliarden Parameter, und für das Training wurde ein Cluster mit 4480 GPUs eingesetzt. Server Der DGX A100 mit 8 GPUs A100 80GB ist für Anwendungen in der Verarbeitung natürlicher Sprache konzipiert. Dazu zählen Aufgaben wie die Vorhersage des Abschlusses unvollständiger Sätze, die Beantwortung von Fragen, das Leseverständnis, die Erstellung von Schlussfolgerungen in natürlicher Sprache und die Auflösung von Mehrdeutigkeiten in Wortbedeutungen.

Quelle: opennet.ru