Բացվել է PIXIE մեքենայական ուսուցման համակարգի սկզբնական կոդը, որը թույլ է տալիս ստեղծել մարդու մարմնի եռաչափ մոդելներ և անիմացիոն ավատարներ մեկ լուսանկարից: Արդյունքում ստացված մոդելին կարելի է կցել դեմքի և հագուստի ռեալիստական հյուսվածքներ, որոնք տարբերվում են բնօրինակ լուսանկարում պատկերվածներից: Համակարգը կարող է օգտագործվել, օրինակ, այլ դիտարկման կետից նկարելու, անիմացիա ստեղծելու, դեմքի ձևի հիման վրա մարմինը վերակառուցելու և մատների եռաչափ մոդել կազմելու համար: Կոդը գրված է Python լեզվով՝ օգտագործելով Pytorch շրջանակը և տարածվում է միայն ոչ առևտրային օգտագործման թույլտվությամբ լիցենզիայով:
Նշվում է, որ նմանատիպ նախագծերի համեմատ, PIXIE-ն թույլ է տալիս ավելի ճշգրիտ վերականգնել մարմնի ուրվագծերը, որոնք լուսանկարում սկզբում թաքնված էին հագուստի տակ, դեմքի ձևը և ձեռքերի հոդերի դիրքը: Մեթոդը հիմնված է նեյրոնային ցանցի օգտագործման վրա, որը պիքսելային պատկերից հանում է դեմքի, մարմնի և ձեռքերի պարամետրերը: Նեյրոնային ցանցի աշխատանքը համակարգվում է հատուկ կառավարիչի կողմից, որը լուսավորության վերլուծության հիման վրա ավելացնում է տեղեկատվություն մարմնի տարբեր մասերի քաշի գործակիցների վերաբերյալ՝ բացառելու համար անբնական դիրքերի սահմանումը: Մոդել ստեղծելիս հաշվի են առնվում տղամարդու և կնոջ մարմնի անատոմիական տարբերությունները, դիրքի պարամետրերը, լուսավորությունը, մակերեսի անդրադարձունակությունը և դեմքի պտույտը եռաչափ հարթությունում:
PIXIE-ի առանձնահատկությունները՝
- Վերակառուցված եռաչափ մարմնի մոդելը, ինչպես նաև դիրքի, ձեռքի դիրքի և դեմքի արտահայտության մասին տեղեկատվությունը պահպանվում է որպես SMPL-X պարամետրերի ամբողջություն, որոնք այնուհետև կարող են օգտագործվել Blender մոդելավորման համակարգում՝ միացված հավելվածի միջոցով։
- Լուսանկարն օգտագործվում է դեմքի ձևի և արտահայտության, ինչպես նաև դրա առանձնահատկությունների, ինչպիսիք են կնճիռների առկայությունը, վերաբերյալ մանրամասն տեղեկություններ որոշելու համար (գլխի մոդելը կառուցելու համար օգտագործվում է նույն հեղինակների կողմից մշակված DECA մեքենայական ուսուցման համակարգը):
- Դեմքի հյուսվածք ստեղծելիս գնահատվում է օբյեկտի ալբեդոն։
- Կառուցված մարմնի մոդելը կարող է այնուհետև անիմացվել կամ ներկայացվել այլ դիրքով։
- Աջակցություն բնական պայմաններում մարդու սովորական լուսանկարներից մոդել կառուցելու համար: PIXIE-ն լավ է հաղթահարում տարբեր դիրքերի, լուսավորության պայմանների հայտնաբերումը և օբյեկտի մասերի տեսանելիության խոչընդոտումը:
- Բարձր արդյունավետություն, որը հարմար է դինամիկ տեսախցիկի պատկերի մշակման համար։
Source: opennet.ru
