Un gruppo di ricercatori di diverse università americane ha pubblicato un progetto (Pixel-Aligned Implicit Function), che consente di applicare metodi di apprendimento automatico per creare un modello 3D di una persona a partire da una o più immagini bidimensionali. Il sistema permette di ricreare varianti complesse di abbigliamento, come gonne plissettate e scarpe con il tacco, e diverse acconciature, ripristinando autonomamente la texture e la forma nelle aree invisibili nella proiezione da cui viene creato il modello 3D. Per aumentare la qualità e la definizione del modello 3D finale, possono essere utilizzate più immagini da diverse angolazioni. Il codice del progetto è scritto in linguaggio Python utilizzando il framework PyTorch e sotto licenza MIT.
Come fonte per la ricostruzione del modello volumetrico, viene utilizzata una rete neurale che permette di scegliere la forma più probabile e dedurre elementi nascosti, basandosi su un modello addestrato su varie versioni di oggetti esistenti. Parallelamente, il progetto fornisce un algoritmo per il confronto del modello volumetrico ottenuto con le texture delle immagini bidimensionali fornite, che allinea i pixel dell'immagine 2D in base alla loro posizione sul modello 3D e genera le texture mancanti più probabili. Per codificare l'immagine, può essere utilizzata qualsiasi , per
la ricostruzione della superficie è stata applicata l'architettura "", e
per il confronto delle texture è stata utilizzata una rete neurale basata sull'architettura .
Il modello pre-addestrato utilizzato dai ricercatori è disponibile per il download libero, ma i dati originali su cui è stato effettuato l'addestramento rimangono chiusi, poiché si basano su risultati di scansione 3D commerciali. Come fonte per l'addestramento autonomo del modello, può essere utilizzato di persone del progetto Renderpeople.
Fonte: opennet.ru
