Mitme Ameerika ülikooli teadlaste rühm avaldas projekti (Pixel-Aligned Implicit Function), mis võimaldab rakendada masinõppe meetodeid inimese 3D mudeli loomisel ühe või mitme kahe mõõtmelise pildi põhjal. Süsteem võimaldab taastada keerulisi riietuse variante, nagu kortsunud seelikud ja kontsakingad, ning erinevaid soenguid, iseseisvalt taastades tekstuuri ja kuju aladel, mis on 3D mudeli loomise projektsioonil nähtamatud. Lõpptootmise kvaliteedi ja detailide suurendamiseks võivad erinevad vaatenurgad kasutada mitmeid pilte. Projekti kood on kirjutatud Python keeles koos PyTorch raamistikuga ja MIT litsentsi alusel.
3D-mudeli rekonstrueerimise allikana kasutatakse närvivõrku, mis võimaldab valida kõige tõenäolisema kuju ja mõelda välja varjatud elemente, tuginedes mudelile, mis on koolitatud olemasolevate objektide erinevate variantide põhjal. Samuti pakub projekt algoritmi saadud 3D-mudeli sidumiseks pakutud kahe mõõtmeliste piltide tekstuuridega, mis joondab 2D-pildi pikslid vastavalt nende positsioonile 3D-objektil ning genereerib kõige tõenäolisemad puuduvad tekstuurid. Pildi kodeerimiseks võib kasutada mis tahes , jaoks
pinna rekonstrueerimisel on rakendatud arhitektuuri „“, ja
tekstuuride sidumiseks on kaasatud närvivõrk, mis põhineb arhitektuuril .
Teadlaste poolt kasutatud valmis koolitatud mudel on vabalt allalaetav, kuid andmed, mille põhjal koolitus viidi läbi, jäävad suletuks, kuna need põhinevad kommertsliku 3D skaneerimise tulemustel. Iseseisva mudeli koolitamise allikana võib kasutada inimestelt projekti Renderpeople.
Allikas: opennet.ru
