न्यूरल नेटवर्क वापरून अॅनिमेशन संश्लेषणासाठी कोड उघडा

शांघाय टेक्निकल युनिव्हर्सिटीच्या संशोधकांचा एक गट प्रकाशित साधने तोतयागिरी करणारा, जे स्थिर प्रतिमा वापरून लोकांच्या हालचालींचे अनुकरण करण्यासाठी, तसेच कपडे बदलण्यासाठी, त्यांना दुसर्‍या वातावरणात हस्तांतरित करण्यासाठी आणि ऑब्जेक्ट दृश्यमान कोन बदलण्यासाठी मशीन लर्निंग पद्धती वापरण्यास अनुमती देते. कोड पायथनमध्ये लिहिलेला आहे
फ्रेमवर्क वापरून पाय टोर्च. विधानसभा देखील आवश्यक आहे टॉर्चव्हिजन आणि CUDA टूलकिट.

टूलकिटला इनपुट म्हणून द्वि-आयामी प्रतिमा प्राप्त होते आणि निवडलेल्या मॉडेलवर आधारित सुधारित परिणाम संश्लेषित करते. तीन परिवर्तन पर्याय समर्थित आहेत:
मॉडेल प्रशिक्षित केलेल्या हालचालींचे अनुसरण करणारी एक हलणारी वस्तू तयार करणे. मॉडेलमधून एखाद्या वस्तूमध्ये देखावाचे घटक हस्तांतरित करणे (उदाहरणार्थ, कपडे बदलणे). नवीन कोनाची निर्मिती (उदाहरणार्थ, पूर्ण-चेहऱ्याच्या छायाचित्रावर आधारित प्रोफाइल प्रतिमेचे संश्लेषण). सर्व तीन पद्धती एकत्र केल्या जाऊ शकतात, उदाहरणार्थ, आपण वेगवेगळ्या कपड्यांमध्ये एक जटिल अॅक्रोबॅटिक युक्तीच्या कार्यप्रदर्शनाचे अनुकरण करणाऱ्या छायाचित्रातून व्हिडिओ तयार करू शकता.

संश्लेषण प्रक्रियेदरम्यान, छायाचित्रात एखादी वस्तू निवडणे आणि हलताना गहाळ पार्श्वभूमी घटक तयार करणे ही क्रिया एकाच वेळी केली जाते. न्यूरल नेटवर्क मॉडेल एकदा प्रशिक्षित केले जाऊ शकते आणि विविध परिवर्तनांसाठी वापरले जाऊ शकते. लोडिंगसाठी उपलब्ध रेडीमेड मॉडेल्स जे आपल्याला प्राथमिक प्रशिक्षणाशिवाय त्वरित साधने वापरण्याची परवानगी देतात. ऑपरेट करण्यासाठी किमान 8GB च्या मेमरी आकारासह GPU आवश्यक आहे.

द्विमितीय जागेत शरीराच्या स्थानाचे वर्णन करणार्‍या मुख्य बिंदूंद्वारे परिवर्तनावर आधारित परिवर्तन पद्धतींच्या विपरीत, इंपर्सोनेटर मशीन लर्निंग पद्धती वापरून शरीराच्या वर्णनासह त्रिमितीय जाळीचे संश्लेषण करण्याचा प्रयत्न करतो.
प्रस्तावित पद्धत अंगांच्या नैसर्गिक हालचालींचे अनुकरण करून वैयक्तिक शरीराचा आकार आणि वर्तमान मुद्रा लक्षात घेऊन हाताळणी करण्यास परवानगी देते.

परिवर्तन प्रक्रियेदरम्यान पोत, शैली, रंग आणि चेहर्यावरील ओळख यासारखी मूळ माहिती जतन करण्यासाठी, जनरेटिव्ह अॅडव्हर्सियल न्यूरल नेटवर्क (लिक्विड वार्पिंग GAN). स्त्रोत ऑब्जेक्टबद्दल माहिती आणि त्याच्या अचूक ओळखीसाठी पॅरामीटर्स अर्ज करून काढले जातात कंव्होल्यूशनल न्यूरल नेटवर्क.

स्त्रोत: opennet.ru