Der Quellcode des maschinellen Lernsystems PIXIE, das die Erstellung von 3D-Modellen und animierten Avataren des menschlichen Körpers aus einem einzigen Foto ermöglicht, wurde veröffentlicht. Dem resultierenden Modell können realistische Texturen von Gesicht und Kleidung hinzugefügt werden, die sich von denen des Originalfotos unterscheiden. Das System ermöglicht es beispielsweise, aus einem anderen Blickwinkel zu zeichnen, Animationen zu erstellen, den Körper anhand der Gesichtsform zu rekonstruieren und ein 3D-Modell von Fingern zu erstellen. Der Code ist in Python unter Verwendung des Pytorch-Frameworks geschrieben und wird unter einer Lizenz verbreitet, die ausschließlich die nichtkommerzielle Nutzung erlaubt.
Es wird angegeben, dass PIXIE im Vergleich zu ähnlichen Projekten eine genauere Rekonstruktion der Körperkonturen, die auf dem Foto zunächst durch die Kleidung verborgen sind, der Gesichtsform und der Position der Handgelenke ermöglicht. Die Methode basiert auf der Verwendung eines neuronalen Netzwerks, das Parameter von Gesicht, Körper und Händen aus dem Pixelbild extrahiert. Die Arbeit des neuronalen Netzwerks wird von einem speziellen Controller koordiniert, der basierend auf der Analyse der Beleuchtung Informationen über die Gewichtungskoeffizienten verschiedener Körperteile hinzufügt, um die Definition unnatürlicher Posen auszuschließen. Bei der Erstellung eines Modells werden die anatomischen Unterschiede des männlichen und weiblichen Körpers, Posenparameter, Beleuchtung, Oberflächenreflexion und Gesichtsrotation in einer dreidimensionalen Ebene berücksichtigt.
PIXIE-Funktionen:
- Das rekonstruierte 3D-Körpermodell sowie Informationen zu Pose, Handposition und Gesichtsausdruck werden als Satz von SMPL-X-Parametern gespeichert, die dann über ein Plugin im Blender-Modellierungssystem verwendet werden können.
- Anhand des Fotos werden detaillierte Informationen zur Form und zum Ausdruck des Gesichts sowie zu seinen Merkmalen, wie beispielsweise dem Vorhandensein von Falten, ermittelt (zum Erstellen des Kopfmodells wird das von denselben Autoren entwickelte DECA-Maschinenlernsystem verwendet).
- Beim Generieren einer Gesichtstextur wird das Albedo des Objekts geschätzt.
- Das erstellte Körpermodell kann anschließend animiert oder in einer anderen Pose präsentiert werden.
- Unterstützung für den Aufbau eines Modells aus normalen Fotos einer Person unter natürlichen Bedingungen. PIXIE kommt gut mit der Erkennung unterschiedlicher Posen, Lichtverhältnisse und der Verdeckung der Sichtbarkeit von Objektteilen zurecht.
- Hohe Leistung, geeignet für die dynamische Kamerabildverarbeitung.
Source: opennet.ru
