Ir atvÄrts PIXIE maŔīnmÄcīŔanÄs sistÄmas pirmkods, kas ļauj no vienas fotogrÄfijas izveidot 3D modeļus un animÄtus cilvÄka Ä·ermeÅa iemiesojumus. IegÅ«tajam modelim var pievienot reÄlistiskas sejas un apÄ£Ärba faktÅ«ras, kas atŔķiras no oriÄ£inÄlajÄ fotogrÄfijÄ attÄlotajÄm. SistÄmu var izmantot, piemÄram, lai renderÄtu no cita skatu punkta, izveidotu animÄciju, rekonstruÄtu Ä·ermeni pÄc sejas formas un Ä£enerÄtu pirkstu 3D modeli. Kods ir rakstÄ«ts Python, izmantojot Pytorch sistÄmu, un tiek izplatÄ«ts saskaÅÄ ar licenci tikai nekomerciÄlai lietoÅ”anai.
Tiek norÄdÄ«ts, ka, salÄ«dzinot ar lÄ«dzÄ«giem projektiem, PIXIE ļauj precÄ«zÄk atjaunot Ä·ermeÅa kontÅ«ras, kuras fotogrÄfijÄ sÄkotnÄji slÄpj apÄ£Ärbs, sejas formu un roku locÄ«tavu stÄvokli. Metodes pamatÄ ir neironu tÄ«kla izmantoÅ”ana, kas no pikseļu attÄla iegÅ«st sejas, Ä·ermeÅa un roku parametrus. Neironu tÄ«kla darbu koordinÄ Ä«paÅ”s kontrolieris, kas, pamatojoties uz apgaismojuma analÄ«zi, pievieno informÄciju par dažÄdu Ä·ermeÅa daļu svÄruma koeficientiem, lai izslÄgtu nedabisku pozu noteikÅ”anu. Veidojot modeli, tiek Åemtas vÄrÄ vÄ«rieÅ”a un sievietes Ä·ermeÅa anatomiskÄs atŔķirÄ«bas, stÄjas parametri, apgaismojums, virsmas atstaroÅ”anÄs spÄja un sejas rotÄcija trÄ«sdimensiju plaknÄ.
PIXIE funkcijas:
- RekonstruÄtais 3D Ä·ermeÅa modelis, kÄ arÄ« informÄcija par pozu, roku stÄvokli un sejas izteiksmi tiek saglabÄta kÄ SMPL-X parametru kopa, ko vÄlÄk ar spraudÅa palÄ«dzÄ«bu var izmantot Blender modelÄÅ”anas sistÄmÄ.
- No fotogrÄfijas tiek noteikta detalizÄta informÄcija par sejas formu un izteiksmi, kÄ arÄ« tÄs iezÄ«mÄm, piemÄram, grumbu esamÄ«bu (galvas modeļa izveidoÅ”anai tiek izmantota to paÅ”u autoru izstrÄdÄtÄ maŔīnmÄcīŔanÄs sistÄma DECA) .
- Ä¢enerÄjot sejas tekstÅ«ru, tiek novÄrtÄts objekta albedo.
- KonstruÄto Ä·ermeÅa modeli vÄlÄk var animÄt vai parÄdÄ«t citÄ pozÄ.
- Atbalsts modeļa veidoÅ”anai no parastajÄm cilvÄka fotogrÄfijÄm dabiskos apstÄkļos. PIXIE veic labu darbu, lai noteiktu dažÄdas pozas, apgaismojuma apstÄkļus un traucÄtu objekta daļu redzamÄ«bu.
- Augsta veiktspÄja, piemÄrota kameras attÄlu dinamiskai apstrÄdei.



Avots: opennet.ru
