तंत्रिका नेटवर्क का उपयोग करके एनीमेशन संश्लेषण के लिए खुला कोड

शंघाई तकनीकी विश्वविद्यालय के शोधकर्ताओं का एक समूह प्रकाशित औजार अभिनय करनेवाला, जो मशीन सीखने के तरीकों का उपयोग करके स्थिर छवियों का उपयोग करके लोगों की गतिविधियों का अनुकरण करने के साथ-साथ कपड़े बदलने, उन्हें दूसरे वातावरण में स्थानांतरित करने और उस कोण को बदलने की अनुमति देता है जिससे कोई वस्तु दिखाई देती है। कोड पायथन में लिखा गया है
एक ढाँचे का उपयोग करना पायटॉर्च. असेंबली की भी आवश्यकता है मशाल और CUDA टूलकिट।

टूलकिट इनपुट के रूप में एक द्वि-आयामी छवि प्राप्त करता है और चयनित मॉडल के आधार पर एक संशोधित परिणाम को संश्लेषित करता है। तीन परिवर्तन विकल्प समर्थित हैं:
एक गतिशील वस्तु बनाना जो उन गतिविधियों का अनुसरण करती है जिन पर मॉडल को प्रशिक्षित किया गया था। किसी मॉडल से किसी वस्तु में उपस्थिति के तत्वों को स्थानांतरित करना (उदाहरण के लिए, कपड़ों का परिवर्तन)। एक नए कोण का निर्माण (उदाहरण के लिए, पूरे चेहरे की तस्वीर के आधार पर प्रोफ़ाइल छवि का संश्लेषण)। सभी तीन तरीकों को जोड़ा जा सकता है, उदाहरण के लिए, आप एक तस्वीर से एक वीडियो तैयार कर सकते हैं जो विभिन्न कपड़ों में एक जटिल कलाबाजी चाल के प्रदर्शन का अनुकरण करता है।

संश्लेषण प्रक्रिया के दौरान, तस्वीर में किसी वस्तु का चयन करना और चलते समय गायब पृष्ठभूमि तत्वों को बनाने का संचालन एक साथ किया जाता है। तंत्रिका नेटवर्क मॉडल को एक बार प्रशिक्षित किया जा सकता है और विभिन्न परिवर्तनों के लिए उपयोग किया जा सकता है। लोडिंग के लिए उपलब्ध तैयार मॉडल जो आपको प्रारंभिक प्रशिक्षण के बिना तुरंत उपकरण का उपयोग करने की अनुमति देते हैं। संचालित करने के लिए कम से कम 8GB मेमोरी साइज वाले GPU की आवश्यकता होती है।

दो-आयामी अंतरिक्ष में शरीर के स्थान का वर्णन करने वाले प्रमुख बिंदुओं द्वारा परिवर्तन पर आधारित परिवर्तन विधियों के विपरीत, प्रतिरूपणकर्ता मशीन सीखने के तरीकों का उपयोग करके शरीर के विवरण के साथ एक त्रि-आयामी जाल को संश्लेषित करने का प्रयास करता है।
प्रस्तावित विधि व्यक्तिगत शरीर के आकार और वर्तमान मुद्रा को ध्यान में रखते हुए, अंगों की प्राकृतिक गतिविधियों का अनुकरण करते हुए हेरफेर की अनुमति देती है।

परिवर्तन प्रक्रिया के दौरान बनावट, शैली, रंग और चेहरे की पहचान जैसी मूल जानकारी को संरक्षित करने के लिए, जनरेटिव प्रतिकूल तंत्रिका नेटवर्क (लिक्विड वार्पिंग GAN). स्रोत वस्तु के बारे में जानकारी और उसकी सटीक पहचान के लिए मापदंडों को लागू करके निकाला जाता है दृढ़ तंत्रिका नेटवर्क.

स्रोत: opennet.ru