U codice fonte di u sistema di apprendimentu automaticu PIXIE hè statu apertu, chì permette di creà mudelli 3D è avatari animati di u corpu umanu da una foto. Textures faciale è di vestiti realistichi chì difierenu da quelli raffigurati in a fotografia originale pò esse attaccati à u mudellu resultanti. U sistema pò esse usatu, per esempiu, per rende da un puntu di vista diversu, creà animazione, ricustruisce u corpu basatu nantu à a forma di a faccia, è generà un mudellu 3D di i dita. U codice hè scrittu in Python aduprendu u framework Pytorch è hè distribuitu sottu una licenza di usu micca cummerciale solu.
Hè dichjaratu chì, cumparatu cù prughjetti simili, PIXIE permette di ricreà più precisamente i contorni di u corpu, inizialmente oculati da a ropa in a fotografia, a forma di a faccia è a pusizione di l'articuli di e mani. U metudu hè basatu annantu à l'usu di una rete neurale, chì estrae i paràmetri di a faccia, u corpu è e mani da una imagine pixel. U travagliu di a rete neurale hè coordinatu da un controller speciale, chì, basatu annantu à l'analisi di l'illuminazione, aghjunghje infurmazioni nantu à i coefficienti di ponderazione di diverse parti di u corpu per escludiri a deteczione di pose antinaturali. Quandu creanu un mudellu, i differenzi anatomichi trà u corpu masculinu è femminile, i paràmetri di postura, l'illuminazione, a riflettività di a superficia è a rotazione di a faccia in un pianu tridimensionale sò cunsiderate.
Caratteristiche di PIXIE:
- U mudellu di corpu 3D ricustruitu, è ancu l'infurmazioni nantu à a pusizione, a pusizione di a manu è l'espressione faciale, hè salvatu cum'è un set di paràmetri SMPL-X, chì pò esse dopu aduprati in u sistema di modellazione Blender via un plugin.
- Da a fotografia, infurmazione dettagliata hè determinata nantu à a forma è l'espressione di a faccia, è e so caratteristiche, cum'è a prisenza di arrughe (u sistema di machine learning DECA, sviluppatu da i stessi autori, hè utilizatu per custruisce un mudellu di testa) .
- Quandu si genera una texture di faccia, l'albedo di l'ughjettu hè stimatu.
- U mudellu di corpu custruitu pò dopu esse animatu o presentatu in una pose diversa.
- Supportu per a custruzzione di un mudellu da ritratti ordinali di una persona in cundizioni naturali. PIXIE faci un bonu travagliu di detectà diverse pose, cundizioni di illuminazione, è obstructing a visibilità di parti di un ughjettu.
- Alte prestazioni, adattate per u processamentu dinamicu di l'imaghjini di càmera.
Source: opennet.ru
