Eine Gruppe von Forschern mehrerer amerikanischer Universitäten hat ein Projekt veröffentlicht (Pixel-Aligned Implicit Function), die es Ihnen ermöglicht, Methoden des maschinellen Lernens anzuwenden, um aus einem oder mehreren zweidimensionalen Bildern ein 3D-Modell einer Person zu erstellen. Mit dem System können Sie komplexe Kleidungsoptionen wie Faltenröcke und Absätze sowie verschiedene Frisuren nachbilden und dabei unabhängig voneinander Textur und Form in Bereichen wiederherstellen, die in der Projektion, aus der das 3D-Modell erstellt wird, unsichtbar sind. Um die Qualität und Detailgenauigkeit des endgültigen 3D-Modells zu erhöhen, können mehrere Bilder aus verschiedenen Blickwinkeln verwendet werden. Der Projektcode ist in Python unter Verwendung des PyTorch-Frameworks geschrieben und unter der MIT-Lizenz.
Als Quelle für die Rekonstruktion eines dreidimensionalen Layouts wird ein neuronales Netzwerk verwendet, das es Ihnen ermöglicht, ausgehend von einem Modell, das an verschiedenen Versionen vorhandener Objekte trainiert wurde, die wahrscheinlichste Form auszuwählen und versteckte Elemente zu erfinden. Parallel dazu stellt das Projekt einen Algorithmus zum Abgleich des resultierenden volumetrischen Layouts mit Texturen in den bereitgestellten 2D-Bildern bereit, der die 3D-Bildpixel entsprechend ihrer Position auf dem XNUMXD-Objekt ausrichtet und die am wahrscheinlichsten fehlenden Texturen generiert. Jedes Bild kann kodiert werden für
Oberflächenrekonstruktion angewandte Architektur "", ein
Für den Texturabgleich wird ein architekturbasiertes neuronales Netzwerk verwendet .
Das von den Forschern verwendete vorgefertigte trainierte Modell steht zum kostenlosen Download zur Verfügung, die für das Training verwendeten Rohdaten bleiben jedoch vertraulich, da sie auf kommerziellen 3D-Scans basieren. Kann als Quelle für das Selbsttraining des Modells verwendet werden Leute aus dem Renderpeople-Projekt.
Source: opennet.ru