Megnyílt a PIXIE gépi tanulási rendszer forráskódja, amellyel egyetlen fotóból 3D-s modelleket és animált avatarokat készíthet az emberi testről. Az eredeti fényképen láthatótól eltérő valósághű arc- és ruházati textúrák rögzíthetők a kapott modellhez. A rendszerrel például egy másik nézőpontból lehet renderelni, animációt készíteni, az arc alakja alapján rekonstruálni a testet, és 3D-s ujjmodelleket generálni. A kód Python nyelven íródott a Pytorch keretrendszer használatával, és nem kereskedelmi használatra szóló licenc alatt kerül terjesztésre.
Azt állítják, hogy a hasonló projektekhez képest a PIXIE lehetővé teszi a test kontúrjainak pontosabb újraalkotását, amelyet kezdetben a ruházat rejtett a fényképen, az arc formáját és a kezek ízületeinek helyzetét. A módszer egy neurális hálózat használatán alapul, amely egy pixel képből kinyeri az arc, a test és a kezek paramétereit. A neurális hálózat munkáját egy speciális vezérlő koordinálja, amely a megvilágítás elemzése alapján információkat ad hozzá a különböző testrészek súlyozási együtthatóiról, hogy kizárja a természetellenes pózok észlelését. A modell elkészítésekor figyelembe veszik a férfi és női test anatómiai különbségeit, a testtartás paramétereit, a megvilágítást, a felületi visszaverődést és az arc háromdimenziós síkban történő elfordulását.
A PIXIE jellemzői:
- A rekonstruált 3D-s testmodell, valamint a pózra, a kézpozícióra és az arckifejezésre vonatkozó információk SMPL-X paraméterkészletként kerülnek mentésre, amelyet később a Blender modellező rendszerében egy plugin segítségével használhatunk.
- A fényképről részletes információkat határoznak meg az arc formájáról és kifejezéséről, valamint jellemzőiről, például a ráncok jelenlétéről (a fejmodell elkészítéséhez az ugyanazon szerzők által kifejlesztett DECA gépi tanulási rendszert használják) .
- Az arctextúra létrehozásakor a rendszer megbecsüli az objektum albedóját.
- A felépített testmodell később animálható vagy más pózban is bemutatható.
- Modell készítésének támogatása természetes körülmények között lévő személy közönséges fényképeiből. A PIXIE jó munkát végez a különböző pózok, fényviszonyok észlelésében és a tárgy egyes részei láthatóságának akadályozásában.
- Nagy teljesítményű, alkalmas kameraképek dinamikus feldolgozására.
Forrás: opennet.ru