PIfu jẹ eto ẹkọ ẹrọ fun kikọ awoṣe 3D ti eniyan ti o da lori awọn fọto 2D

Ẹgbẹ kan ti awọn oniwadi lati ọpọlọpọ awọn ile-ẹkọ giga Amẹrika ṣe atẹjade iṣẹ akanṣe kan PIFU (Pixel-Aligned Implicit function), eyiti o fun ọ laaye lati lo awọn ọna ikẹkọ ẹrọ lati kọ awoṣe 3D ti eniyan lati ọkan tabi diẹ sii awọn aworan onisẹpo meji. Eto naa ngbanilaaye lati tun ṣe awọn aṣayan aṣọ ti o nipọn, gẹgẹbi awọn ẹwu obirin ati awọn igigirisẹ, ati ọpọlọpọ awọn ọna ikorun, mimu-pada sipo ominira ati apẹrẹ ni awọn agbegbe ti a ko rii ni asọtẹlẹ lati eyiti awoṣe 3D ti kọ. Lati mu didara ati alaye ti awoṣe 3D ikẹhin pọ si, ọpọlọpọ awọn aworan lati awọn igun oriṣiriṣi le ṣee lo. Koodu ise agbese ti kọ ni Python nipa lilo ilana PyTorch ati pin nipasẹ labẹ iwe-aṣẹ MIT.

PIfu – eto ẹkọ ẹrọ fun kikọ awoṣe 3D ti eniyan ti o da lori awọn fọto 2D

Nẹtiwọọki nkankikan ni a lo bi orisun fun atunkọ ipilẹ onisẹpo mẹta, eyiti o fun ọ laaye lati yan apẹrẹ ti o ṣeeṣe julọ ati ṣẹda awọn eroja ti o farapamọ, ti o bẹrẹ lati awoṣe ti ikẹkọ lori ọpọlọpọ awọn ẹya ti awọn nkan ti o wa tẹlẹ. Ni afiwe, iṣẹ akanṣe naa n pese algorithm kan fun ibaramu ipilẹ iwọn didun ti abajade pẹlu awọn awoara ni awọn aworan 2D ti a pese, eyiti o ṣe deede awọn piksẹli ti aworan 3D ni ibamu si ipo wọn lori ohun XNUMXD ati pe o ṣe afihan awọn awoara ti o padanu julọ. Eyikeyi aworan le jẹ koodu convolutional nkankikan nẹtiwọki, fun
atunkọ dada loo faaji "Gilaasi tolera", a
Nẹtiwọọki nkankikan ti o da lori faaji ni a lo fun ibaramu sojurigindin CycleGAN.

PIfu – eto ẹkọ ẹrọ fun kikọ awoṣe 3D ti eniyan ti o da lori awọn fọto 2D

Awoṣe ikẹkọ ti o ti ṣetan ti awọn oniwadi lo wa wa fun igbasilẹ ọfẹ, ṣugbọn data aise ti a lo fun ikẹkọ wa ni ikọkọ bi o ti da lori awọn iwoye 3D ti iṣowo. Le ṣee lo bi orisun kan fun ikẹkọ ara ẹni ti awoṣe 3D awoṣe database eniyan lati Renderpeople ise agbese.

orisun: opennet.ru

Fi ọrọìwòye kun