Rühm teadlasi mitmest Ameerika ülikoolist avaldas projekti (Pixel-Aligned Implicit Function), mis võimaldab rakendada masinõppe meetodeid, et luua inimesest 3D-mudel ühest või mitmest kahemõõtmelisest pildist. Süsteem võimaldab taasluua keerukaid rõivavalikuid, nagu plisseeritud seelikud ja kontsad, ning erinevaid soenguid, taastades iseseisvalt tekstuuri ja kuju piirkondades, mis on nähtamatud projektsioonis, millest 3D-mudel on ehitatud. Lõpliku 3D-mudeli kvaliteedi ja detailsuse tõstmiseks saab kasutada mitut erineva nurga alt tehtud pilti. Projekti kood on kirjutatud Pythonis, kasutades PyTorchi raamistikku ja MIT litsentsi alusel.
Kolmemõõtmelise paigutuse rekonstrueerimise allikana kasutatakse närvivõrku, mis võimaldab valida kõige tõenäolisema kuju ja leiutada peidetud elemente, alustades olemasolevate objektide erinevatel versioonidel treenitud mudelist. Paralleelselt näeb projekt ette algoritmi tulemuseks oleva mahulise paigutuse sobitamiseks pakutavate 2D-piltide tekstuuridega, mis joondab 3D-kujutise pikslid vastavalt nende asukohale XNUMXD-objektil ja genereerib kõige tõenäolisemalt puuduvad tekstuurid. Iga pilti saab kodeerida jaoks
pinnarekonstrueerimise rakendusarhitektuur "", a
Tekstuuri sobitamiseks kasutatakse arhitektuuripõhist närvivõrku .
Teadlaste poolt kasutatav valmis koolitatud mudel on saadaval tasuta allalaadimiseks, kuid koolituseks kasutatud algandmed jäävad privaatseks, kuna need põhinevad kommertslikul 3D-skaneerimisel. Saab kasutada mudeli enesetreeningu allikana inimesi projektist Renderpeople.
Allikas: opennet.ru