Der Quellcode des maschinellen Lernsystems PIXIE wurde geöffnet, sodass Sie aus einem Foto 3D-Modelle und animierte Avatare des menschlichen Körpers erstellen können. Dem resultierenden Modell können realistische Gesichts- und Kleidungstexturen hinzugefügt werden, die von denen auf dem Originalfoto abweichen. Das System kann beispielsweise zum Rendern aus einem anderen Blickwinkel, zum Erstellen von Animationen, zum Rekonstruieren des Körpers anhand der Gesichtsform und zum Generieren eines 3D-Modells der Finger verwendet werden. Der Code ist in Python unter Verwendung des Pytorch-Frameworks geschrieben und wird unter einer nichtkommerziellen Nutzungslizenz vertrieben.
Es wird angegeben, dass PIXIE im Vergleich zu ähnlichen Projekten eine genauere Nachbildung der Körperkonturen ermöglicht, die auf dem Foto zunächst durch die Kleidung verdeckt wurden, der Gesichtsform und der Position der Handgelenke. Die Methode basiert auf der Verwendung eines neuronalen Netzwerks, das aus einem Pixelbild die Parameter von Gesicht, Körper und Händen extrahiert. Die Arbeit des neuronalen Netzwerks wird von einem speziellen Controller koordiniert, der basierend auf einer Beleuchtungsanalyse Informationen über die Gewichtungskoeffizienten verschiedener Körperteile hinzufügt, um die Erkennung unnatürlicher Posen auszuschließen. Bei der Modellerstellung werden die anatomischen Unterschiede zwischen männlichem und weiblichem Körper, Haltungsparameter, Beleuchtung, Oberflächenreflexion und Drehung des Gesichts in einer dreidimensionalen Ebene berücksichtigt.
Funktionen von PIXIE:
- Das rekonstruierte 3D-Körpermodell sowie Informationen zu Pose, Handposition und Gesichtsausdruck werden als Satz von SMPL-X-Parametern gespeichert, die später über ein Plugin im Blender-Modellierungssystem verwendet werden können.
- Aus dem Foto werden detaillierte Informationen über die Form und den Ausdruck des Gesichts sowie über seine Merkmale, wie z. B. das Vorhandensein von Falten, ermittelt (für die Erstellung eines Kopfmodells wird das von denselben Autoren entwickelte maschinelle Lernsystem DECA verwendet). .
- Beim Generieren einer Gesichtstextur wird die Albedo des Objekts geschätzt.
- Das konstruierte Körpermodell kann später animiert oder in einer anderen Pose präsentiert werden.
- Unterstützung beim Erstellen eines Modells aus gewöhnlichen Fotos einer Person unter natürlichen Bedingungen. PIXIE ist gut darin, unterschiedliche Posen und Lichtverhältnisse zu erkennen und die Sichtbarkeit von Teilen eines Objekts zu behindern.
- Hohe Leistung, geeignet für die dynamische Verarbeitung von Kamerabildern.
Source: opennet.ru