Atidarytas PIXIE mašininio mokymosi sistemos šaltinio kodas, leidžiantis iš vienos nuotraukos sukurti 3D modelius ir animuotus žmogaus kūno avatarus. Prie gauto modelio galima pritvirtinti tikroviškas veido ir drabužių tekstūras, kurios skiriasi nuo pavaizduotų originalioje nuotraukoje. Sistema gali būti naudojama, pavyzdžiui, atvaizduoti iš kito požiūrio taško, kurti animaciją, rekonstruoti kūną pagal veido formą ir generuoti 3D pirštų modelį. Kodas parašytas Python naudojant Pytorch sistemą ir platinamas pagal nekomercinio naudojimo licenciją.
Teigiama, kad, lyginant su panašiais projektais, PIXIE leidžia tiksliau atkurti kūno kontūrus, iš pradžių nuotraukoje paslėptus drabužiais, veido formą ir rankų sąnarių padėtį. Metodas pagrįstas neuroninio tinklo naudojimu, kuris iš pikselių vaizdo išskiria veido, kūno ir rankų parametrus. Neuroninio tinklo darbą koordinuoja specialus valdiklis, kuris, remdamasis apšvietimo analize, prideda informaciją apie įvairių kūno dalių svorio koeficientus, kad būtų išvengta nenatūralių pozų aptikimo. Kuriant modelį atsižvelgiama į anatominius vyro ir moters kūno skirtumus, laikysenos parametrus, apšvietimą, paviršiaus atspindį ir veido sukimąsi trimatėje plokštumoje.
PIXIE savybės:
- Rekonstruotas 3D kūno modelis, taip pat informacija apie pozą, rankų padėtį ir veido išraišką išsaugoma kaip SMPL-X parametrų rinkinys, kurį vėliau per įskiepį bus galima panaudoti Blender modeliavimo sistemoje.
- Iš nuotraukos nustatoma išsami informacija apie veido formą ir išraišką, taip pat jo ypatybes, tokias kaip raukšlių buvimas (galvos modeliui sukurti naudojama tų pačių autorių sukurta mašininio mokymosi sistema DECA) .
- Generuojant veido tekstūrą, įvertinamas objekto albedas.
- Sukonstruotas kūno modelis vėliau gali būti animuotas arba pateikiamas kitokia poza.
- Parama kuriant modelį iš įprastų žmogaus nuotraukų natūraliomis sąlygomis. PIXIE puikiai aptinka įvairias pozas, apšvietimo sąlygas ir trukdo matyti objekto dalis.
- Didelis našumas, tinka dinamiškam fotoaparato vaizdų apdorojimui.
Šaltinis: opennet.ru
