फोटोवरून लोकांचे 3D मॉडेल तयार करण्याचा PIXIE प्रकल्प प्रकाशित झाला आहे

PIXIE मशीन लर्निंग सिस्टीमचा सोर्स कोड उघडला गेला आहे, जो तुम्हाला एका फोटोमधून 3D मॉडेल्स आणि मानवी शरीराचे अॅनिमेटेड अवतार तयार करण्यास अनुमती देतो. मूळ छायाचित्रात चित्रित केलेल्यांपेक्षा भिन्न असलेले वास्तववादी चेहर्याचे आणि कपड्यांचे पोत परिणामी मॉडेलशी संलग्न केले जाऊ शकतात. प्रणालीचा वापर केला जाऊ शकतो, उदाहरणार्थ, वेगळ्या व्हॅंटेज पॉईंटवरून रेंडर करण्यासाठी, अॅनिमेशन तयार करण्यासाठी, चेहऱ्याच्या आकारावर आधारित शरीराची पुनर्रचना करण्यासाठी आणि बोटांचे 3D मॉडेल तयार करण्यासाठी. कोड Pytorch फ्रेमवर्क वापरून Python मध्ये लिहिलेला आहे आणि केवळ गैर-व्यावसायिक वापराच्या परवान्याअंतर्गत वितरित केला जातो.

असे नमूद केले आहे की, तत्सम प्रकल्पांच्या तुलनेत, PIXIE तुम्हाला शरीराचे आकृतिबंध अधिक अचूकपणे पुन्हा तयार करण्याची परवानगी देते, सुरुवातीला छायाचित्रातील कपड्यांद्वारे लपवलेले, चेहऱ्याचा आकार आणि हातांच्या सांध्याची स्थिती. ही पद्धत न्यूरल नेटवर्कच्या वापरावर आधारित आहे, जी पिक्सेल प्रतिमेतून चेहरा, शरीर आणि हात यांचे पॅरामीटर्स काढते. न्यूरल नेटवर्कचे कार्य एका विशेष नियंत्रकाद्वारे समन्वित केले जाते, जे प्रदीपनच्या विश्लेषणावर आधारित, अनैसर्गिक पोझेसचा शोध वगळण्यासाठी शरीराच्या विविध भागांच्या वजन गुणांकांची माहिती जोडते. मॉडेल तयार करताना, पुरुष आणि मादी शरीरातील शारीरिक फरक, पवित्रा पॅरामीटर्स, प्रकाशयोजना, पृष्ठभागाची परावर्तकता आणि त्रिमितीय विमानात चेहर्याचे फिरणे विचारात घेतले जाते.

PIXIE ची वैशिष्ट्ये:

• पुनर्रचित 3D बॉडी मॉडेल, तसेच पोझ, हाताची स्थिती आणि चेहर्यावरील हावभाव बद्दल माहिती, SMPL-X पॅरामीटर्सच्या संच म्हणून जतन केली जाते, जी नंतर ब्लेंडर मॉडेलिंग सिस्टममध्ये प्लगइनद्वारे वापरली जाऊ शकते.
• छायाचित्रातून, चेहऱ्याचा आकार आणि अभिव्यक्ती, तसेच सुरकुत्या (त्याच लेखकांनी विकसित केलेली DECA मशीन लर्निंग सिस्टीम, हेड मॉडेल तयार करण्यासाठी वापरली जाते) यांसारख्या वैशिष्ट्यांबद्दल तपशीलवार माहिती निश्चित केली जाते. .
• चेहर्याचा पोत तयार करताना, ऑब्जेक्टच्या अल्बेडोचा अंदाज लावला जातो.
• तयार केलेले शरीर मॉडेल नंतर अॅनिमेटेड किंवा वेगळ्या पोझमध्ये सादर केले जाऊ शकते.
• नैसर्गिक परिस्थितीत एखाद्या व्यक्तीच्या सामान्य छायाचित्रांमधून मॉडेल तयार करण्यासाठी समर्थन. PIXIE विविध पोझेस, प्रकाशाची स्थिती आणि ऑब्जेक्टच्या काही भागांच्या दृश्यमानतेमध्ये अडथळा आणण्याचे चांगले काम करते.
• उच्च कार्यक्षमता, कॅमेरा प्रतिमांच्या डायनॅमिक प्रक्रियेसाठी योग्य.

स्त्रोत: opennet.ru