Un gruppo di ricercatori di diverse università americane ha pubblicato un progetto (Pixel-Aligned Implicit Function), che consente di applicare metodi di apprendimento automatico per costruire un modello 3D di una persona a partire da una o più immagini bidimensionali. Il sistema è in grado di ricreare varianti complesse di abbigliamento, come gonne plissettate e scarpe con tacco, e diverse acconciature, ripristinando autonomamente la texture e la forma in aree invisibili nella proiezione da cui viene realizzato il modello 3D. Per aumentare la qualità e il dettaglio del modello 3D finale, possono essere utilizzate più immagini da angolazioni diverse. Il codice del progetto è scritto in Python utilizzando il framework PyTorch e sotto licenza MIT.
Per la ricostruzione di un modello volumetrico si utilizza una rete neurale che permette di scegliere la forma più probabile e di completare gli elementi nascosti, basandosi su un modello addestrato su diverse varianti di oggetti esistenti. Parallelamente, il progetto fornisce un algoritmo per allineare il modello volumetrico ottenuto con le texture sulle immagini bidimensionali fornite, che allinea i pixel dell'immagine 2D secondo la loro posizione sull'oggetto 3D e genera le texture mancanti più probabili. Qualsiasi , per
la ricostruzione della superficie è stata applicata l'architettura ““, e
per il confronto delle texture è stata utilizzata una rete neurale basata sull'architettura .
Il modello pre-addestrato utilizzato dai ricercatori è disponibile per il download gratuito, ma i dati originali su cui è stato effettuato l'addestramento rimangono riservati, poiché si basano su risultati di scansioni 3D commerciali. Come fonte per l'auto-addestramento del modello può essere utilizzata persone dal progetto Renderpeople.
Fonte: opennet.ru
