Els textos font del sistema d'aprenentatge automàtic PIXIE, que permet crear models 3D i avatars animats del cos humà a partir d'una sola foto, estan oberts. Al model resultant es poden adjuntar textures realistes de la cara i la roba, que difereixen de les que es mostren a la foto original. El sistema es pot utilitzar, per exemple, per dibuixar des d'un punt de vista diferent, crear animació, reconstruir el cos segons la forma de la cara i formar un model 3D dels dits. El codi està escrit en Python utilitzant el marc Pytorch i es distribueix sota una llicència que només permet un ús no comercial.
S'afirma que en comparació amb projectes similars, PIXIE permet recrear amb més precisió els contorns del cos, originalment amagats per la roba a la fotografia, la forma de la cara i la posició de les articulacions de les mans. El mètode es basa en l'ús d'una xarxa neuronal que extreu paràmetres de cara, cos i mà d'una imatge de píxel. El treball de la xarxa neuronal està coordinat per un regulador especial que, a partir de l'anàlisi de la il·luminació, afegeix informació sobre els coeficients de pes de diverses parts del cos per eliminar la definició de posicions no naturals. En crear un model, es tenen en compte les diferències anatòmiques entre el cos masculí i el femení, els paràmetres de la postura, la il·luminació, la reflectivitat de la superfície i la rotació de la cara en un pla tridimensional.
Característiques de PIXIE:
- El model 3D reconstruït del cos, així com la informació sobre la postura, la posició de les mans i les expressions facials es guarden com un conjunt de paràmetres SMPL-X, que es poden utilitzar posteriorment al sistema de modelatge Blender mitjançant un connector.
- A partir de la fotografia es determina informació detallada sobre la forma i l'expressió de la cara, així com les seves característiques, com ara la presència d'arrugues (per construir el model del cap s'utilitza el sistema d'aprenentatge automàtic DECA desenvolupat pels mateixos autors).
- Quan es genera una textura de cara, s'estima l'albedo de l'objecte.
- El model de cos construït es pot animar més tard o presentar-se en una postura diferent.
- Suport per a la construcció d'una maqueta a partir de fotografies normals en què es fa una persona en condicions naturals. PIXIE fa un bon treball definint diferents posicions, condicions d'il·luminació i enfosquint la visibilitat de parts d'un objecte.
- Alt rendiment, adequat per al processament dinàmic de la imatge de la càmera.
Font: opennet.ru