न्यूरल नेटवर्कहरू प्रयोग गरेर एनिमेसन संश्लेषणको लागि कोड खोल्नुहोस्

सांघाई प्राविधिक विश्वविद्यालयका अनुसन्धानकर्ताहरूको समूह प्रकाशित उपकरणहरू प्रतिरूपणकर्ता, जसले मेसिन लर्निङ विधिहरू प्रयोग गरेर स्थिर छविहरू प्रयोग गरेर मानिसहरूको चालहरू अनुकरण गर्न, साथै कपडाहरू बदल्न, तिनीहरूलाई अर्को वातावरणमा स्थानान्तरण गर्न र वस्तु देखिने कोण परिवर्तन गर्न अनुमति दिन्छ। कोड Python मा लेखिएको छ
फ्रेमवर्क प्रयोग गर्दै पाइटोरच। सभा पनि चाहिन्छ टर्चभिजन र CUDA टूलकिट।

टूलकिटले इनपुटको रूपमा दुई-आयामी छवि प्राप्त गर्दछ र चयन गरिएको मोडेलको आधारमा परिमार्जित परिणामलाई संश्लेषण गर्दछ। तीन रूपान्तरण विकल्पहरू समर्थित छन्:
मोडेललाई प्रशिक्षित गरिएको आन्दोलनहरू पछ्याउने चलिरहेको वस्तु सिर्जना गर्दै। मोडेलबाट वस्तुमा उपस्थितिको तत्वहरू स्थानान्तरण गर्दै (उदाहरणका लागि, कपडाको परिवर्तन)। नयाँ कोणको उत्पादन (उदाहरणका लागि, पूर्ण अनुहारको फोटोमा आधारित प्रोफाइल छविको संश्लेषण)। सबै तीन विधिहरू संयोजन गर्न सकिन्छ, उदाहरणका लागि, तपाईंले विभिन्न कपडाहरूमा जटिल एक्रोबेटिक चालको प्रदर्शनलाई नक्कल गर्ने फोटोबाट भिडियो उत्पन्न गर्न सक्नुहुन्छ।

संश्लेषण प्रक्रियाको बखत, फोटोमा वस्तु चयन गर्ने र हिड्दा हराइरहेको पृष्ठभूमि तत्वहरू गठन गर्ने कार्यहरू एकैसाथ गरिन्छ। तंत्रिका नेटवर्क मोडेल एक पटक प्रशिक्षित गर्न सकिन्छ र विभिन्न परिवर्तनहरूको लागि प्रयोग गर्न सकिन्छ। लोड गर्न को लागी उपलब्ध छ तयार मोडेलहरू जुन तपाइँलाई प्रारम्भिक प्रशिक्षण बिना तुरुन्तै उपकरणहरू प्रयोग गर्न अनुमति दिन्छ। कम्तिमा 8GB को मेमोरी साइजको GPU सञ्चालन गर्न आवश्यक छ।

दुई-आयामी ठाउँमा शरीरको स्थान वर्णन गर्ने मुख्य बिन्दुहरूद्वारा रूपान्तरणमा आधारित रूपान्तरण विधिहरूको विपरीत, इम्पर्सोनेटरले मेसिन लर्निङ विधिहरू प्रयोग गरेर शरीरको विवरणसहित तीन-आयामी जाल संश्लेषण गर्ने प्रयास गर्दछ।
प्रस्तावित विधिले व्यक्तिगत शरीरको आकार र हालको मुद्रालाई ध्यानमा राखेर अंगहरूको प्राकृतिक चालहरू अनुकरण गर्दै हेरफेर गर्न अनुमति दिन्छ।

रूपान्तरण प्रक्रियाको क्रममा बनावट, शैली, रंग र अनुहार पहिचान जस्ता मौलिक जानकारी सुरक्षित गर्न, उत्पन्न विरोधी तंत्रिका नेटवर्क (तरल वार्पिङ GAN)। स्रोत वस्तुको बारेमा जानकारी र यसको सटीक पहिचानको लागि मापदण्डहरू आवेदन गरेर निकालिन्छ convolutional तंत्रिका नेटवर्क.

स्रोत: opennet.ru