Skupina výzkumníků z několika amerických univerzit publikovala projekt (Pixel-Aligned Implicit Function), který umožňuje použít metody strojového učení k vytvoření 3D modelu člověka z jednoho nebo několika dvourozměrných obrazů. Systém dokáže replikovat složité varianty oblečení, jako jsou plisované sukně a boty na vysokém podpatku, a různé účesy, přičemž automaticky obnovuje texturu a tvar v oblastech, které jsou při vytváření 3D modelu neviditelné. Pro zvýšení kvality a detailnosti výsledného 3D modelu lze použít více obrázků z různých úhlů. Kód projektu je napsán v jazyce Python s využitím frameworku PyTorch a je licencován pod MIT licencí.
jako zdroj pro rekonstrukci objemového modelu se používáNeuronová síť, která umožňuje vybírat nejpravděpodobnější tvar a dovymýšlet skryté prvky na základě modelu školeného na různých variantách existujících objektů. Současně projekt poskytuje algoritmus pro přiřazení získaného objemového modelu k texturám na poskytnutých dvourozměrných obrazích, který vyrovnává pixely 2D obrázku podle jejich polohy na 3D objektu a generuje nejpravděpodobnější chybějící textury. Pro kódování obrazu lze použít jakoukoliv , pro
rekonstrukci povrchu byla použita architektura „«, a
pro přiřazení textur byla nasazena neurální síť založená na architektuře .
Použitý připravený model výzkumníků je k dispozici pro volné stažení, ale zdrojová data, na kterých bylo školení provedeno, zůstávají uzavřená, protože jsou založena na výsledcích komerčního 3D skenování. Jako zdroj pro samostatné školení modelu může být použita lidí od projektu Renderpeople.
Zdroj: opennet.ru
