PIXIE-koneoppimisjärjestelmän lähdekoodi on avattu, joten voit luoda 3D-malleja ja animoituja avatareja ihmiskehosta yhdestä valokuvasta. Tuloksena olevaan malliin voidaan liittää realistiset kasvo- ja vaatetekstuurit, jotka poikkeavat alkuperäisestä valokuvasta. Järjestelmän avulla voidaan esimerkiksi renderoida eri näkökulmasta, luoda animaatioita, rekonstruoida vartaloa kasvojen muodon perusteella ja luoda 3D-malli sormista. Koodi on kirjoitettu Pythonissa käyttämällä Pytorch-kehystä, ja sitä jaetaan ei-kaupalliseen käyttöön tarkoitetulla lisenssillä.
Todetaan, että verrattuna vastaaviin projekteihin PIXIE antaa sinun luoda tarkemmin uudelleen vartalon ääriviivat, jotka alun perin piilottivat valokuvassa vaatteiden, kasvojen muodon ja käsien nivelten asennon. Menetelmä perustuu neuroverkon käyttöön, joka poimii pikselikuvasta kasvojen, vartalon ja käsien parametrit. Neuraaliverkon työtä koordinoi erityinen ohjain, joka valaistuksen analyysin perusteella lisää tietoa kehon eri osien painokertoimista, jotta luonnottomien asentojen havaitseminen ei ole mahdollista. Mallia luotaessa otetaan huomioon miehen ja naisen vartalon anatomiset erot, asentoparametrit, valaistus, pintaheijastavuus ja kasvojen kierto kolmiulotteisessa tasossa.
PIXIE:n ominaisuudet:
- Rekonstruoitu 3D-vartalomalli sekä tiedot asennosta, käsien asennosta ja ilmeestä tallennetaan SMPL-X-parametreina, joita voidaan myöhemmin käyttää Blender-mallinnusjärjestelmässä pluginin kautta.
- Valokuvasta selviää yksityiskohtaista tietoa kasvojen muodosta ja ilmeestä sekä sen ominaisuuksista, kuten ryppyjen esiintymisestä (päämallin rakentamiseen käytetään samojen kirjoittajien kehittämää DECA-koneoppimisjärjestelmää) .
- Kasvotekstuuria luotaessa kohteen albedo arvioidaan.
- Rakennettua vartalomallia voidaan myöhemmin animoida tai esittää eri asennossa.
- Tuki mallin rakentamiseen tavallisista valokuvista ihmisestä luonnollisissa olosuhteissa. PIXIE tekee hyvää työtä erilaisten asentojen, valaistusolosuhteiden ja esineen osien näkyvyyden estämisessä.
- Korkea suorituskyky, sopii kameran kuvien dynaamiseen käsittelyyn.
Lähde: opennet.ru