Բացվել է PIXIE մեքենայական ուսուցման համակարգի սկզբնական կոդը, որը թույլ է տալիս մեկ լուսանկարից ստեղծել մարդու մարմնի 3D մոդելներ և անիմացիոն ավատարներ։ Դեմքի և հագուստի իրատեսական հյուսվածքները, որոնք տարբերվում են բնօրինակ լուսանկարում պատկերվածներից, կարող են կցվել ստացված մոդելին: Համակարգը կարող է օգտագործվել, օրինակ, տարբեր դիտակետից ցուցադրելու, անիմացիա ստեղծելու, դեմքի ձևի հիման վրա մարմինը վերակառուցելու և մատների 3D մոդել ստեղծելու համար: Կոդը գրված է Python-ում՝ օգտագործելով Pytorch շրջանակը և տարածվում է միայն ոչ առևտրային օգտագործման լիցենզիայի ներքո:
Նշվում է, որ, համեմատած նմանատիպ նախագծերի հետ, PIXIE-ն թույլ է տալիս ավելի ճշգրիտ վերստեղծել մարմնի ուրվագծերը, որոնք ի սկզբանե թաքցված էին լուսանկարում հագուստով, դեմքի ձևով և ձեռքերի հոդերի դիրքով: Մեթոդը հիմնված է նեյրոնային ցանցի օգտագործման վրա, որը պիքսելային պատկերից հանում է դեմքի, մարմնի և ձեռքերի պարամետրերը։ Նյարդային ցանցի աշխատանքը համակարգվում է հատուկ կարգավորիչի կողմից, որը, հիմնվելով լուսավորության վերլուծության վրա, ավելացնում է տեղեկատվություն մարմնի տարբեր մասերի կշռման գործակիցների մասին՝ բացառելու անբնական դիրքերի հայտնաբերումը: Մոդել ստեղծելիս հաշվի են առնվում արական և իգական մարմնի անատոմիական տարբերությունները, կեցվածքի պարամետրերը, լուսավորությունը, մակերեսի արտացոլումը և դեմքի պտույտը եռաչափ հարթությունում։
PIXIE-ի առանձնահատկությունները.
- Վերակառուցված 3D մարմնի մոդելը, ինչպես նաև կեցվածքի, ձեռքի դիրքի և դեմքի արտահայտության մասին տեղեկությունները պահվում են որպես SMPL-X պարամետրերի մի շարք, որոնք հետագայում կարող են օգտագործվել Blender մոդելավորման համակարգում՝ plugin-ի միջոցով:
- Լուսանկարից մանրամասն տեղեկատվությունը որոշվում է դեմքի ձևի և արտահայտման, ինչպես նաև դրա առանձնահատկությունների մասին, ինչպիսիք են կնճիռների առկայությունը (նույն հեղինակների կողմից մշակված DECA մեքենայական ուսուցման համակարգը օգտագործվում է գլխի մոդելի կառուցման համար) .
- Դեմքի հյուսվածք ստեղծելիս օբյեկտի ալբեդոն գնահատվում է:
- Կառուցված մարմնի մոդելը հետագայում կարող է անիմացիոն լինել կամ ներկայացվել այլ դիրքով:
- Աջակցություն բնական պայմաններում մարդու սովորական լուսանկարներից մոդել կառուցելու համար: PIXIE-ը լավ աշխատանք է կատարում՝ հայտնաբերելու տարբեր դիրքեր, լուսավորության պայմաններ և խոչընդոտում է օբյեկտի մասերի տեսանելիությունը:
- Բարձր կատարողականություն, հարմար է տեսախցիկի պատկերների դինամիկ մշակման համար:
Source: opennet.ru