Skupina výskumníkov z niekoľkých amerických univerzít zverejnila projekt (Pixel-Aligned Implicit Function), ktorá umožňuje použiť metódy strojového učenia na zostavenie 3D modelu osoby z jedného alebo viacerých dvojrozmerných obrázkov. Systém vám umožňuje vytvoriť komplexné možnosti oblečenia, ako sú skladané sukne a podpätky a rôzne účesy, pričom nezávisle obnovuje textúru a tvar v oblastiach neviditeľných v projekcii, z ktorej je zostavený 3D model. Na zvýšenie kvality a detailov výsledného 3D modelu je možné použiť niekoľko obrázkov z rôznych uhlov. Kód projektu je napísaný v Pythone pomocou rámca PyTorch a pod licenciou MIT.
Ako zdroj na rekonštrukciu trojrozmerného rozloženia sa používa neurónová sieť, ktorá vám umožňuje vybrať najpravdepodobnejší tvar a vymyslieť skryté prvky, počnúc modelom natrénovaným na rôznych verziách existujúcich objektov. Súčasne projekt poskytuje algoritmus na porovnávanie výsledného objemového rozloženia s textúrami v poskytnutých 2D obrázkoch, ktorý zarovnáva pixely 3D obrazu podľa ich polohy na XNUMXD objekte a generuje najpravdepodobnejšie chýbajúce textúry. Akýkoľvek obrázok je možné zakódovať pre
povrchová rekonštrukcia aplikovaná architektúra "", a
neurónová sieť založená na architektúre sa používa na porovnávanie textúr .
Hotový trénovaný model, ktorý používajú výskumníci je k dispozícii na bezplatné stiahnutie, ale nespracované údaje používané na školenie zostávajú súkromné, pretože sú založené na komerčných 3D skenoch. Môže byť použitý ako zdroj pre autotréning modelu ľudia z projektu Renderpeople.
Zdroj: opennet.ru