PIFu - сістэма машыннага навучання для пабудовы 3D-мадэлі чалавека на аснове 2D-здымкаў

Група даследнікаў з некалькіх амерыканскіх універсітэтаў апублікавала праект PIFu (Pixel-Aligned Implicit Function), які дазваляе прымяніць метады машыннага навучання для пабудовы 3D-мадэлі чалавека па адной або некалькім двухмерным малюнкам. Сістэма дазваляе ўзнаўляць складаныя варыянты адзення, такія як спадніцы са зморшчынамі і туфлі на абцасах, і розныя прычоскі, самастойна аднаўляючы тэкстуру і форму ў абласцях, нябачных у праекцыі, па якой вырабляецца пабудова 3D-мадэлі. Для павелічэння якасці і дэталізацыі выніковай 3D-мадэлі можа прымяняцца некалькі малюнкаў у розных ракурсах. Код праекта напісаны на мове Python з выкарыстаннем фрэймворка PyTorch і распаўсюджваецца пад ліцэнзіяй MIT.

PIFu – сістэма машыннага навучання для пабудовы 3D-мадэлі чалавека на аснове 2D-здымкаў

У якасці крыніцы для рэканструкцыі аб'ёмнага макета выкарыстоўваецца нейронавая сетка, якая дазваляе выбіраць найболей верагодную форму і дадумваць утоеныя элементы, адштурхваючыся ад мадэлі, навучанай на розных варыянтах існых аб'ектаў. Паралельна праект дае алгарытм для супастаўлення атрыманага аб'ёмнага макета з тэкстурамі на прадстаўленых двухмерных выявах, які выраўноўвае пікселі 2D-малюнка ў адпаведнасці з іх пазіцыяй на 3D-аб'екце і генеруе найбольш верагодныя адсутныя тэкстуры. Для кадавання выявы можа прымяняцца любая згортачная нейронавая сетка, для
рэканструкцыі паверхні прыменена архітэктура.Stacked hourglass«, А
для параўнання структур задзейнічана нейронавая сетка на аснове архітэктуры ЦыклГАН.

PIFu – сістэма машыннага навучання для пабудовы 3D-мадэлі чалавека на аснове 2D-здымкаў

Ужывальная даследнікамі гатовая навучаная мадэль даступная для свабоднай загрузкі, але зыходныя дадзеныя, на якіх было праведзена навучанне, застаюцца зачыненыя, бо яны заснаваны на выніках камерцыйнага 3D-сканавання. У якасці крыніцы для самастойнага навучання мадэлі можа выкарыстоўвацца база 3D-мадэляў людзей ад праекту Renderpeople.

Крыніца: opennet.ru

Дадаць каментар