PIFu — systema uczenia maszynowego do tworzenia modeli 3D człowieka na podstawie zdjęć 2D

Grupa badaczy z kilku amerykańskich uniwersytetów opublikowała projekt PIFu (Pixel-Aligned Implicit Function), który pozwala na zastosowanie metod uczenia maszynowego do tworzenia modelu 3D człowieka na podstawie jednego lub kilku dwuwymiarowych obrazów. System pozwala na rekonstrukcję skomplikowanych wariantów odzieży, takich jak spódnice z fałdami i szpilki, oraz różnych fryzur, samodzielnie przywracając teksturę i kształt w obszarach niewidocznych na projekcji, na podstawie której tworzony jest model 3D. Aby zwiększyć jakość i szczegółowość końcowego modelu 3D, można wykorzystać kilka obrazów z różnych kątów. Kod projektu jest napisany w języku Python z wykorzystaniem frameworka PyTorch i rozpowszechniany na licencji MIT.

Jako źródło do rekonstrukcji objętości makiety wykorzystywana jest sieć neuronowa, która pozwala na wybór najbardziej prawdopodobnego kształtu i dedukcję ukrytych elementów, bazując na modelu wyuczonym na różnych wariantach istniejących obiektów. Równocześnie projekt dostarcza algorytm do dopasowywania uzyskanej objętości makiety do tekstur na dostarczonych dwuwymiarowych obrazach, który wyrównuje piksele obrazu 2D zgodnie z ich położeniem na obiekcie 3D i generuje najbardziej prawdopodobne brakujące tekstury. Do kodowania obrazu można zastosować dowolną sieć neuronową konwolucyjną, dla
do rekonstrukcji powierzchni zastosowano architekturę „Stacked hourglass„, a
do dopasowania tekstur wykorzystano sieć neuronową opartą na architekturze CycleGAN.

Stosowana przez badaczy gotowa wyuczona model jest dostępny do swobodnego pobrania, ale dane źródłowe, na których przeprowadzono szkolenie, pozostają zastrzeżone, ponieważ opierają się na wynikach komercyjnego skanowania 3D. Jako źródło do samodzielnego szkolenia modelu można wykorzystać bazę 3D modeli ludzi projektu Renderpeople.

Źródło: opennet.ru