Eine Gruppe von Forschern aus mehreren amerikanischen UniversitĂ€ten hat ein Projekt veröffentlicht (Pixel-Aligned Implicit Function), das es ermöglicht, Methoden des maschinellen Lernens zur Erstellung eines 3D-Modells einer Person aus einem oder mehreren zweidimensionalen Bildern anzuwenden. Das System ermöglicht die Rekonstruktion komplizierter Bekleidungsvarianten wie Faltenröcke und High Heels sowie verschiedener Frisuren, indem es selbststĂ€ndig Texturen und Formen in Bereichen wiederherstellt, die in der Projektion, aus der das 3D-Modell erstellt wird, unsichtbar sind. Zur Verbesserung der QualitĂ€t und Detailgenauigkeit des endgĂŒltigen 3D-Modells können mehrere Bilder aus verschiedenen Perspektiven verwendet werden. Der Code des Projekts ist in Python mit dem Framework PyTorch geschrieben und unterliegt der MIT-Lizenz.
FĂŒr die Rekonstruktion des volumetrischen Modells wird ein neuronales Netzwerk verwendet, das die wahrscheinlichste Form auswĂ€hlt und versteckte Elemente basierend auf einem Modell ergĂ€nzt, das auf verschiedenen Varianten existierender Objekte trainiert wurde. Parallel dazu bietet das Projekt einen Algorithmus zur Zuordnung des erhaltenen volumetrischen Modells zu den Texturen der bereitgestellten zweidimensionalen Bilder, der die Pixel des 2D-Bildes gemÀà ihrer Position auf dem 3D-Objekt angleicht und die wahrscheinlichsten fehlenden Texturen generiert. Zur Kodierung des Bildes kann jede , fĂŒr
Die Architektur ââ wurde fĂŒr die OberflĂ€chenrekonstruktion verwendet, und
zur Zuordnung der Texturen wurde ein neuronales Netzwerk auf der Basis der Architektur .
Das von den Forschern verwendete fertige, trainierte Modell ist frei verfĂŒgbar, aber die Trainingsdaten, auf denen das Training basierte, bleiben geschlossen, da sie auf den Ergebnissen kommerzieller 3D-Scans basieren. Als Quelle fĂŒr das eigenstĂ€ndige Training des Modells kann eine von Menschen aus dem Projekt Renderpeople verwendet werden.
Quelle: opennet.ru
