Un grup de cercetători de la mai multe universități americane a publicat un proiect (Funcția Implicit Aliniată pe Pixel), care permite aplicarea metodelor de învățare automată pentru a construi un model 3D al unei persoane pe baza uneia sau mai multor imagini bidimensionale. Sistemul permite recrearea variantelor complexe de îmbrăcăminte, precum fuste plisate și pantofi cu toc, precum și diferite coafuri, refăcând singur textura și forma în regiunile invizibile în proiecția din care se realizează construcția modelului 3D. Pentru a crește calitatea și detalierea modelului 3D final, pot fi utilizate mai multe imagini din perspective diferite. Codul proiectului este scris în limbajul Python folosind framework-ul PyTorch și sub licența MIT.
Ca sursă pentru reconstrucția modelului volumetric se folosește o rețea neuronală care permite alegerea celei mai probabile forme și completarea elementelor ascunse, bazându-se pe un model antrenat pe diferite variante ale obiectelor existente. În același timp, proiectul oferă un algoritm pentru corelarea modelului volumetric obținut cu texturile din imaginile bidimensionale furnizate, care aliniază pixele imaginii 2D conform poziției lor pe obiectul 3D și generează cele mai probabile texturi lipsă. Pentru codificarea imaginii poate fi utilizată orice , pentru
reconstrucția suprafeței s-a aplicat arhitectura „„, iar
pentru corelarea texturilor a fost implicată o rețea neuronală bazată pe arhitectura .
Modelul antrenat utilizat de cercetători este disponibil pentru descărcare gratuită, dar datele originale pe care s-a efectuat antrenamentul rămân închise, deoarece se bazează pe rezultatele scanării 3D comerciale. Ca sursă pentru auto-antrenarea modelului poate fi folosită de oameni de la proiectul Renderpeople.
Sursa: opennet.ro
