È stato aperto il codice sorgente del sistema di apprendimento automatico PIXIE, che consente di creare modelli 3D e avatar animati del corpo umano da una foto. Al modello risultante è possibile allegare texture realistiche del viso e dei vestiti che differiscono da quelle raffigurate nella fotografia originale. Il sistema può essere utilizzato, ad esempio, per eseguire rendering da un diverso punto di vista, creare animazioni, ricostruire il corpo in base alla forma del viso e generare un modello 3D delle dita. Il codice è scritto in Python utilizzando il framework Pytorch ed è distribuito con una licenza per solo uso non commerciale.
Si precisa che, rispetto a progetti simili, PIXIE permette di ricreare in modo più accurato i contorni del corpo, inizialmente nascosti dagli abiti nella fotografia, la forma del viso e la posizione delle articolazioni delle mani. Il metodo si basa sull'utilizzo di una rete neurale, che estrae i parametri del viso, del corpo e delle mani da un'immagine pixel. Il lavoro della rete neurale è coordinato da uno speciale controller che, sulla base dell'analisi dell'illuminazione, aggiunge informazioni sui coefficienti di ponderazione delle varie parti del corpo per escludere il rilevamento di pose innaturali. Quando si crea un modello, vengono prese in considerazione le differenze anatomiche tra il corpo maschile e quello femminile, i parametri di postura, l'illuminazione, la riflettività della superficie e la rotazione del viso su un piano tridimensionale.
Caratteristiche di PIXIE:
- Il modello del corpo 3D ricostruito, così come le informazioni sulla posa, la posizione della mano e l'espressione facciale, viene salvato come un insieme di parametri SMPL-X, che possono essere successivamente utilizzati nel sistema di modellazione Blender tramite un plugin.
- Dalla fotografia si determinano informazioni dettagliate sulla forma e l'espressione del viso, nonché sulle sue caratteristiche, come la presenza di rughe (il sistema di apprendimento automatico DECA, sviluppato dagli stessi autori, viene utilizzato per costruire un modello di testa) .
- Quando si genera una texture della faccia, viene stimato l'albedo dell'oggetto.
- Il modello del corpo costruito può essere successivamente animato o presentato in una posa diversa.
- Supporto per la costruzione di un modello da normali fotografie di una persona in condizioni naturali. PIXIE fa un buon lavoro nel rilevare diverse pose, condizioni di illuminazione e ostacolare la visibilità di parti di un oggetto.
- Prestazioni elevate, adatte per l'elaborazione dinamica delle immagini della telecamera.
Fonte: opennet.ru