PIFu — systém strojového učenia na vytváranie 3D modelu človeka na základe 2D snímok

Skupina výskumníkov z niekoľkých amerických univerzít zverejnila projekt PIFu (Pixel-Aligned Implicit Function), ktorý umožňuje aplikovať metódy strojového učenia na vytvorenie 3D modelu človeka z jedného alebo viacerých dvojrozmerných obrázkov. Systém dokáže rekonštruovať zložité varianty oblečenia, ako sú sukne so skladkami a topánky na podpätku, a rôzne účesy, pričom samostatne obnovuje textúru a tvar v oblastiach, ktoré sú v projekcii neviditeľné a z ktorej sa vytvára 3D model. Na zvýšenie kvality a detailov výsledného 3D modelu môže byť použitých niekoľko obrázkov z rôznych uhlov. distribuovaný pod licenciou MIT.

PIFu - systém strojového učenia na vytváranie 3D modelu človeka na základe 2D snímok

Ako zdroj na rekonštrukciu objemového modelu sa využíva neurónová sieť, ktorá vyberá najpravdepodobnejší tvar a domýšľa skryté prvky na základe modelu, ktorý bol vyškolený na rôznych variantoch existujúcich objektov. Súbežne projekt poskytuje algoritmus na priradenie získaného objemového modelu k textúram na poskytnutých dvojrozmerných obrázkoch, ktorý vyrovnáva pixely 2D obrázka podľa ich pozície na 3D objekte a generuje najpravdepodobnejšie chýbajúce textúry. Na kódovanie obrazu môže byť použitá akákoľvek konvolučná neurónová sieť, pre
na rekonštrukciu povrchu bola použitá architektúra „Stacked hourglass«, a
na priradenie textúr sa využila neurónová sieť založená na architektúre CycleGAN.

PIFu - systém strojového učenia na vytváranie 3D modelu človeka na základe 2D snímok

Použitý model, ktorý bol výskumníkmi predpripravený je dostupná na voľné stiahnutie, no zdrojové dáta, na ktorých bolo školenie vykonané, ostávajú uzavreté, pretože sú založené na výsledkoch komerčného 3D skenovania. Ako zdroj na samostatné vyučovanie modelu môže slúžiť základňa 3D modelov ľudí z projektu Renderpeople.

Prehrajte video

Zdroj: opennet.ru

Kúpte si spoľahlivý hosting pre webové stránky s ochranou proti DDoS, VPS VDS servery 🔥 Kúpte si spoľahlivý hosting pre webové stránky s ochranou proti DDoS, VPS VDS servery | ProHoster