Avatud on PIXIE masinõppesüsteemi lähtekood, mis võimaldab luua ühest fotost inimkeha 3D-mudeleid ja animeeritud avatare. Saadud mudelile saab kinnitada realistlikud näo- ja rõivatekstuurid, mis erinevad originaalfotol kujutatutest. Süsteemi saab kasutada näiteks erinevast vaatepunktist renderdamiseks, animatsiooni loomiseks, näokuju järgi keha rekonstrueerimiseks ja sõrmede 3D-mudeli genereerimiseks. Kood on kirjutatud Pythonis, kasutades Pytorchi raamistikku ja seda levitatakse mitteäriliseks kasutamiseks mõeldud litsentsi alusel.
Väidetakse, et võrreldes sarnaste projektidega võimaldab PIXIE täpsemalt taasluua fotol algselt riietusega varjatud kehakontuure, näokuju ja käte liigeste asendit. Meetod põhineb närvivõrgu kasutamisel, mis eraldab pikslipildilt näo, keha ja käte parameetrid. Närvivõrgu tööd koordineerib spetsiaalne kontroller, mis valgustuse analüüsi põhjal lisab infot erinevate kehaosade kaalukoefitsientide kohta, et välistada ebaloomulike pooside tuvastamine. Mudeli loomisel arvestatakse mehe ja naise keha anatoomilisi erinevusi, kehahoiaku parameetreid, valgustust, pinna peegeldust ja näo pöörlemist kolmemõõtmelises tasapinnas.
PIXIE omadused:
- Rekonstrueeritud 3D kehamudel ning info poosi, käte asendi ja näoilme kohta salvestatakse SMPL-X parameetrite komplektina, mida saab hiljem plugina kaudu Blenderi modelleerimissüsteemis kasutada.
- Foto põhjal määratakse üksikasjalik teave näo kuju ja väljenduse ning selle tunnuste, näiteks kortsude olemasolu kohta (peamudeli koostamiseks kasutatakse samade autorite välja töötatud masinõppesüsteemi DECA) .
- Näotekstuuri genereerimisel hinnatakse objekti albeedot.
- Konstrueeritud kehamudelit saab hiljem animeerida või esitada mõnes teises poosis.
- Toetus inimese tavapärastest fotodest maketi ehitamiseks looduslikes tingimustes. PIXIE teeb head tööd erinevate pooside, valgustingimuste tuvastamisel ja objekti osade nähtavuse takistamisel.
- Suure jõudlusega, sobib kaamera piltide dünaamiliseks töötlemiseks.
Allikas: opennet.ru