PIFu — ein Machine-Learning-System zur Erstellung eines 3D-Modells eines Menschen basierend auf 2D-Bildern.

Eine Gruppe von Forschern aus mehreren amerikanischen Universitäten hat ein Projekt veröffentlicht PIFu (Pixel-Aligned Implicit Function), das es ermöglicht, Methoden des maschinellen Lernens zur Erstellung eines 3D-Modells einer Person aus einem oder mehreren zweidimensionalen Bildern anzuwenden. Das System kann komplexe Varianten von Kleidung, wie z.B. gefaltete Röcke und High-Heels, sowie verschiedene Frisuren nachbilden, indem es selbstständig die Textur und Form in Bereichen wiederherstellt, die in der 2D-Projektion, von der das 3D-Modell erstellt wird, unsichtbar sind. Zur Verbesserung der Qualität und Detailgenauigkeit des endgültigen 3D-Modells können mehrere Bilder aus verschiedenen Perspektiven verwendet werden. Der Code des Projekts ist in Python unter Verwendung des PyTorch-Frameworks geschrieben. wird unter der GPLv3-Lizenz bereitgestellt. unter der MIT-Lizenz.

Als Quelle für die Rekonstruktion des volumetrischen Modells wird ein neuronales Netzwerk verwendet, das die wahrscheinlichste Form auswählen und verborgene Elemente basierend auf einem auf verschiedenen Varianten existierender Objekte trainierten Modell ergänzen kann. Gleichzeitig bietet das Projekt einen Algorithmus zur Zuordnung des erhaltenen volumetrischen Modells zu Texturen auf den bereitgestellten zweidimensionalen Bildern, der die 2D-Bildpixel gemäß ihrer Position am 3D-Objekt ausrichtet und die wahrscheinlichsten fehlenden Texturen generiert. Für die Kodierung des Bildes kann jede Faltungsneuronales Netzwerk, für
Die angewendete Architektur zur Rekonstruktion der Oberfläche ist „Stacked hourglass“, während
für die Zuordnung der Texturen ein neuronales Netzwerk auf Basis der Architektur CycleGAN.

Verwendete Forscher ein fertiges, vortrainiertes Modell verfügbar zur freien Nutzung, jedoch bleiben die Ausgangsdaten, auf denen das Training basierte, geschlossen, da sie auf Ergebnissen kommerzieller 3D-Scans beruhen. Als Quelle für das selbstständige Training des Modells kann eine Datenbank mit 3D-Modellen Menschen von der Renderpeople-Projekt.

Quelle: opennet.ru