Die bronkode van die PIXIE-masjienleerstelsel is oopgemaak, sodat jy 3D-modelle en geanimeerde avatars van die menslike liggaam vanaf een foto kan skep. Realistiese gesig- en klereteksture wat verskil van dié wat in die oorspronklike foto uitgebeeld word, kan aan die resulterende model geheg word. Die stelsel kan byvoorbeeld gebruik word om vanaf 'n ander uitkykpunt weer te gee, animasie te skep, die liggaam te rekonstrueer op grond van die vorm van die gesig, en 'n 3D-model van die vingers te genereer. Die kode is in Python geskryf deur die Pytorch-raamwerk te gebruik en word versprei onder 'n lisensie vir nie-kommersiële gebruik.
Daar word gesê dat, in vergelyking met soortgelyke projekte, PIXIE jou toelaat om die kontoere van die liggaam meer akkuraat te herskep, aanvanklik versteek deur klere op die foto, die vorm van die gesig en die posisie van die gewrigte van die hande. Die metode is gebaseer op die gebruik van 'n neurale netwerk, wat die parameters van die gesig, liggaam en hande uit 'n pixelbeeld onttrek. Die werk van die neurale netwerk word gekoördineer deur 'n spesiale kontroleerder, wat, gebaseer op 'n ontleding van beligting, inligting oor die gewigskoëffisiënte van verskillende dele van die liggaam byvoeg om die opsporing van onnatuurlike houdings uit te sluit. By die skep van 'n model word die anatomiese verskille tussen die manlike en vroulike liggaam, postuurparameters, beligting, oppervlakreflektiwiteit en rotasie van die gesig in 'n driedimensionele vlak in ag geneem.
Kenmerke van PIXIE:
- Die gerekonstrueerde 3D-liggaamsmodel, sowel as inligting oor houding, handposisie en gesigsuitdrukking, word gestoor as 'n stel SMPL-X-parameters, wat later via 'n inprop in die Blender-modelleringstelsel gebruik kan word.
- Uit die foto word gedetailleerde inligting oor die vorm en uitdrukking van die gesig bepaal, sowel as die kenmerke daarvan, soos die teenwoordigheid van plooie (die DECA-masjienleerstelsel, ontwikkel deur dieselfde skrywers, word gebruik om 'n kopmodel te bou) .
- Wanneer 'n gesigtekstuur gegenereer word, word die albedo van die voorwerp geskat.
- Die gekonstrueerde liggaamsmodel kan later geanimeer word of in 'n ander houding aangebied word.
- Ondersteuning vir die bou van 'n model uit gewone foto's van 'n persoon in natuurlike toestande. PIXIE doen 'n goeie werk om verskillende posisies, beligtingstoestande op te spoor en die sigbaarheid van dele van 'n voorwerp te belemmer.
- Hoë werkverrigting, geskik vir dinamiese verwerking van kamerabeelde.
Bron: opennet.ru