Pētnieku grupa no vairākām Amerikas universitātēm publicēja projektu (Pixel-Aligned Implicit Function), kas ļauj izmantot mašīnmācīšanās metodes, lai izveidotu personas 3D modeli no viena vai vairākiem divdimensiju attēliem. Sistēma ļauj atjaunot sarežģītas apģērba iespējas, piemēram, kroku svārkus un papēžus, un dažādas frizūras, patstāvīgi atjaunojot tekstūru un formu projekcijā, no kuras veidots 3D modelis, neredzamās vietās. Lai uzlabotu galīgā 3D modeļa kvalitāti un detalizāciju, var izmantot vairākus attēlus no dažādiem leņķiem. Projekta kods ir rakstīts Python, izmantojot PyTorch ietvaru un saskaņā ar MIT licenci.
Neironu tīkls tiek izmantots kā avots trīsdimensiju izkārtojuma rekonstrukcijai, kas ļauj izvēlēties visticamāko formu un izgudrot slēptos elementus, sākot no modeļa, kas apmācīts uz dažādām esošo objektu versijām. Paralēli projektā tiek nodrošināts algoritms iegūtā tilpuma izkārtojuma saskaņošanai ar tekstūrām sniegtajos 2D attēlos, kas izlīdzina 3D attēla pikseļus atbilstoši to novietojumam uz XNUMXD objekta un ģenerē visticamāk trūkstošās faktūras. Jebkuru attēlu var iekodēt par
virsmas rekonstrukcijas lietišķā arhitektūra "", a
Tekstūras saskaņošanai tiek izmantots uz arhitektūru balstīts neironu tīkls .
Gatavs apmācīts modelis, ko izmantojuši pētnieki ir pieejams bezmaksas lejupielādei, taču apmācībai izmantotie neapstrādātie dati paliek privāti, jo tie ir balstīti uz komerciāliem 3D skenējumiem. Var izmantot kā avotu modeļa paštrenēšanai cilvēki no projekta Renderpeople.
Avots: opennet.ru