Un gruppo di ricercatori di diverse università americane ha pubblicato un progetto (Pixel-Aligned Implicit Function), che consente di applicare metodi di machine learning per costruire un modello 3D di una persona a partire da una o più immagini bidimensionali. Il sistema consente di ricreare opzioni di abbigliamento complesse, come gonne e tacchi a pieghe e varie acconciature, ripristinando in modo indipendente consistenza e forma in aree invisibili nella proiezione da cui è costruito il modello 3D. Per aumentare la qualità e il dettaglio del modello 3D finale, è possibile utilizzare più immagini da diverse angolazioni. Il codice del progetto è scritto in Python utilizzando il framework PyTorch e con licenza MIT.
Come fonte per ricostruire un layout tridimensionale viene utilizzata una rete neurale, che consente di selezionare la forma più probabile e inventare elementi nascosti, partendo da un modello addestrato su varie versioni di oggetti esistenti. Parallelamente, il progetto fornisce un algoritmo per abbinare il layout volumetrico risultante con le texture nelle immagini 2D fornite, che allinea i pixel dell'immagine 3D in base alla loro posizione sull'oggetto XNUMXD e genera le texture mancanti più probabili. Qualsiasi immagine può essere codificata per
architettura applicata ricostruzione superficiale”", un
la rete neurale basata sull'architettura viene utilizzata per la corrispondenza delle texture .
Il modello addestrato già pronto utilizzato dai ricercatori è disponibile per il download gratuito, ma i dati grezzi utilizzati per la formazione rimangono privati poiché si basano su scansioni 3D commerciali. Può essere utilizzato come fonte per l'autoaddestramento del modello persone del progetto Renderpeople.
Fonte: opennet.ru