PIFu is in masine-learsysteem foar it bouwen fan in 3D-model fan in persoan basearre op 2D-foto's

In groep ûndersikers fan ferskate Amerikaanske universiteiten publisearre in projekt PIFu (Pixel-Aligned Implicit Function), wêrtroch jo metoaden foar masine-learen kinne tapasse om in 3D-model fan in persoan te bouwen fan ien of mear twadimensjonale ôfbyldings. It systeem lit jo komplekse kleanopsjes opnij meitsje, lykas plissearre rokken en hakken, en ferskate kapsels, selsstannich werstelle fan tekstuer en foarm yn gebieten dy't ûnsichtber binne yn 'e projeksje wêrfan it 3D-model is boud. Om de kwaliteit en detail fan it definitive 3D-model te fergrutsjen, kinne ferskate ôfbyldings út ferskate hoeken brûkt wurde. De projektkoade is skreaun yn Python mei it PyTorch-ramt en ferspraat troch ûnder de MIT-lisinsje.

PIFu - in masine-learsysteem foar it bouwen fan in 3D-model fan in persoan basearre op 2D-foto's

In neuronale netwurk wurdt brûkt as boarne foar it rekonstruearjen fan in trijediminsjonale yndieling, wêrtroch jo de meast wierskynlike foarm kinne selektearje en ferburgen eleminten útfine, begjinnend fan in model oplaat op ferskate ferzjes fan besteande objekten. Parallel jout it projekt in algoritme foar it oerienkomme mei de resultearjende volumetryske yndieling mei tekstueren yn 'e levere 2D-ôfbyldings, dy't de piksels fan' e 3D-ôfbylding ôfstimme neffens har posysje op it XNUMXD-objekt en generearret de meast wierskynlik ûntbrekkende tekstueren. Elke ôfbylding kin kodearre wurde convolutional neural netwurkfoar
oerflak rekonstruksje tapaste arsjitektuer "Opsteapele oereglas", a
Arsjitektuer-basearre neural netwurk wurdt brûkt foar tekstuer oerienkomst CycleGAN.

PIFu - in masine-learsysteem foar it bouwen fan in 3D-model fan in persoan basearre op 2D-foto's

It ready-made trained model brûkt troch de ûndersikers доступна is beskikber foar fergese download, mar de rauwe gegevens dy't brûkt wurde foar training bliuwe privee, om't se basearre binne op kommersjele 3D-scans. Kin brûkt wurde as boarne foar sels-training fan it model 3D model databank minsken fan it projekt Renderpeople.

Boarne: opennet.ru

Add a comment