ProHoster > блог > Навіны інтэрнэту > PIFu - сістэма машыннага навучання для пабудовы 3D-мадэлі чалавека на аснове 2D-здымкаў
PIFu - сістэма машыннага навучання для пабудовы 3D-мадэлі чалавека на аснове 2D-здымкаў
Група даследнікаў з некалькіх амерыканскіх універсітэтаў апублікавала праект PIFu (Pixel-Aligned Implicit Function), які дазваляе прымяніць метады машыннага навучання для пабудовы 3D-мадэлі чалавека па адной або некалькім двухмерным малюнкам. Сістэма дазваляе ўзнаўляць складаныя варыянты адзення, такія як спадніцы са зморшчынамі і туфлі на абцасах, і розныя прычоскі, самастойна аднаўляючы тэкстуру і форму ў абласцях, нябачных у праекцыі, па якой вырабляецца пабудова 3D-мадэлі. Для павелічэння якасці і дэталізацыі выніковай 3D-мадэлі можа прымяняцца некалькі малюнкаў у розных ракурсах. Код праекта напісаны на мове Python з выкарыстаннем фрэймворка PyTorch і распаўсюджваецца пад ліцэнзіяй MIT.
У якасці крыніцы для рэканструкцыі аб'ёмнага макета выкарыстоўваецца нейронавая сетка, якая дазваляе выбіраць найболей верагодную форму і дадумваць утоеныя элементы, адштурхваючыся ад мадэлі, навучанай на розных варыянтах існых аб'ектаў. Паралельна праект дае алгарытм для супастаўлення атрыманага аб'ёмнага макета з тэкстурамі на прадстаўленых двухмерных выявах, які выраўноўвае пікселі 2D-малюнка ў адпаведнасці з іх пазіцыяй на 3D-аб'екце і генеруе найбольш верагодныя адсутныя тэкстуры. Для кадавання выявы можа прымяняцца любая згортачная нейронавая сетка, для
рэканструкцыі паверхні прыменена архітэктура.Stacked hourglass«, А
для параўнання структур задзейнічана нейронавая сетка на аснове архітэктуры ЦыклГАН.
Ужывальная даследнікамі гатовая навучаная мадэль даступная для свабоднай загрузкі, але зыходныя дадзеныя, на якіх было праведзена навучанне, застаюцца зачыненыя, бо яны заснаваны на выніках камерцыйнага 3D-сканавання. У якасці крыніцы для самастойнага навучання мадэлі можа выкарыстоўвацца база 3D-мадэляў людзей ад праекту Renderpeople.