Msimbo wa chanzo wa mfumo wa kujifunza mashine wa PIXIE umefunguliwa, huku kuruhusu kuunda miundo ya 3D na avatari zilizohuishwa za mwili wa binadamu kutoka kwa picha moja. Miundo halisi ya uso na mavazi ambayo ni tofauti na ile iliyoonyeshwa kwenye picha asili inaweza kuambatishwa kwa muundo unaotokana. Mfumo unaweza kutumika, kwa mfano, kutoa kutoka kwa mtazamo tofauti, kuunda uhuishaji, kuunda upya mwili kulingana na sura ya uso, na kuzalisha mfano wa 3D wa vidole. Nambari hiyo imeandikwa kwa Python kwa kutumia mfumo wa Pytorch na inasambazwa chini ya leseni ya matumizi yasiyo ya kibiashara pekee.
Imeelezwa kuwa, ikilinganishwa na miradi kama hiyo, PIXIE inakuwezesha kuunda upya kwa usahihi zaidi mtaro wa mwili, hapo awali ulifichwa na nguo kwenye picha, sura ya uso na nafasi ya viungo vya mikono. Njia hiyo inategemea utumiaji wa mtandao wa neva, ambao huondoa vigezo vya uso, mwili na mikono kutoka kwa picha ya pixel. Kazi ya mtandao wa neva huratibiwa na mtawala maalum, ambayo, kwa kuzingatia uchambuzi wa kuangaza, huongeza habari kuhusu coefficients ya uzani wa sehemu mbalimbali za mwili ili kuwatenga ugunduzi wa pose zisizo za asili. Wakati wa kuunda mfano, tofauti za anatomical kati ya mwili wa kiume na wa kike, vigezo vya mkao, taa, kutafakari kwa uso na mzunguko wa uso katika ndege ya tatu-dimensional huzingatiwa.
Vipengele vya PIXIE:
- Muundo wa mwili wa 3D ulioundwa upya, pamoja na maelezo kuhusu mkao, nafasi ya mkono na sura ya uso, huhifadhiwa kama seti ya vigezo vya SMPL-X, ambavyo vinaweza kutumika baadaye katika mfumo wa uundaji wa Blender kupitia programu-jalizi.
- Kutoka kwa picha, habari ya kina imedhamiriwa juu ya sura na usemi wa uso, na vile vile sifa zake, kama vile uwepo wa kasoro (mfumo wa kujifunza wa mashine ya DECA, iliyoundwa na waandishi hao hao, hutumiwa kuunda mfano wa kichwa) .
- Wakati wa kutengeneza muundo wa uso, albedo ya kitu inakadiriwa.
- Muundo wa mwili ulioundwa unaweza baadaye kuhuishwa au kuwasilishwa katika mkao tofauti.
- Msaada wa kujenga mfano kutoka kwa picha za kawaida za mtu katika hali ya asili. PIXIE hufanya kazi nzuri ya kugundua mkao tofauti, hali ya mwangaza, na kuzuia mwonekano wa sehemu za kitu.
- Utendaji wa juu, unaofaa kwa usindikaji wa nguvu wa picha za kamera.
Chanzo: opennet.ru
