Skupina výzkumníků z několika amerických univerzit zveřejnila projekt (Pixel-Aligned Implicit Function), která umožňuje použít metody strojového učení k sestavení 3D modelu osoby z jednoho nebo více dvourozměrných obrázků. Systém vám umožňuje znovu vytvořit komplexní možnosti oblečení, jako jsou plisované sukně a podpatky a různé účesy, nezávisle na obnovení textury a tvaru v oblastech neviditelných v projekci, ze které je 3D model sestaven. Pro zvýšení kvality a detailů finálního 3D modelu lze použít několik snímků z různých úhlů. Kód projektu je napsán v Pythonu pomocí frameworku PyTorch a pod licencí MIT.
Jako zdroj pro rekonstrukci trojrozměrného uspořádání se používá neuronová síť, která umožňuje vybrat nejpravděpodobnější tvar a vymýšlet skryté prvky, počínaje modelem natrénovaným na různých verzích existujících objektů. Paralelně projekt poskytuje algoritmus pro přizpůsobení výsledného objemového rozložení s texturami v poskytnutých 2D obrázcích, který zarovná pixely 3D obrázku podle jejich polohy na XNUMXD objektu a vygeneruje nejpravděpodobnější chybějící textury. Každý obrázek lze zakódovat pro
rekonstrukce povrchů aplikovaná architektura "", a
neuronová síť založená na architektuře se používá pro párování textur .
Hotový trénovaný model používaný výzkumníky je k dispozici ke stažení zdarma, ale nezpracovaná data použitá pro školení zůstávají soukromá, protože jsou založena na komerčních 3D skenech. Lze použít jako zdroj pro autotrénink modelu lidé z projektu Renderpeople.
Zdroj: opennet.ru