Grupa badaczy z kilku amerykańskich uniwersytetów opublikowała projekt (Pixel-Aligned Implicit Function), która umożliwia zastosowanie metod uczenia maszynowego do zbudowania modelu 3D osoby z jednego lub większej liczby obrazów dwuwymiarowych. System pozwala na odtworzenie skomplikowanych wariantów ubioru, takich jak plisowane spódnice i szpilki oraz różnorodnych fryzur, samodzielnie przywracając fakturę i kształt w obszarach niewidocznych w rzucie, z którego budowany jest model 3D. Aby zwiększyć jakość i szczegółowość ostatecznego modelu 3D, można użyć kilku obrazów pod różnymi kątami. Kod projektu został napisany w języku Python przy użyciu frameworka PyTorch i na licencji MIT.
Sieć neuronowa służy jako źródło do rekonstrukcji trójwymiarowego układu, co pozwala wybrać najbardziej prawdopodobny kształt i wymyślić ukryte elementy, zaczynając od modelu wytrenowanego na różnych wersjach istniejących obiektów. Równolegle w projekcie udostępniono algorytm dopasowujący powstały układ wolumetryczny do tekstur z dostarczonych obrazów 2D, który dopasowuje piksele obrazu 3D do ich położenia na obiekcie XNUMXD i generuje najbardziej prawdopodobne brakujące tekstury. Każdy obraz może zostać zakodowany dla
rekonstrukcja powierzchni architektura stosowana”", A
Do dopasowywania tekstur używana jest sieć neuronowa oparta na architekturze .
Gotowy wyszkolony model używany przez badaczy jest dostępny do bezpłatnego pobrania, ale surowe dane użyte do szkolenia pozostają prywatne, ponieważ opierają się na komercyjnych skanach 3D. Może służyć jako źródło do samodzielnego uczenia się modelu ludzie z projektu Renderpeople.
Źródło: opennet.ru