ન્યુરલ નેટવર્કનો ઉપયોગ કરીને એનિમેશન સંશ્લેષણ માટે કોડ ખોલો

શાંઘાઈ ટેકનિકલ યુનિવર્સિટીના સંશોધકોનું જૂથ પ્રકાશિત સાધનો Ersોંગ, જે સ્થિર ઇમેજનો ઉપયોગ કરીને લોકોની હિલચાલનું અનુકરણ કરવા માટે મશીન લર્નિંગ પદ્ધતિઓનો ઉપયોગ કરવાની મંજૂરી આપે છે, તેમજ કપડાં બદલવા, તેમને અન્ય વાતાવરણમાં સ્થાનાંતરિત કરવા અને ઑબ્જેક્ટ દૃશ્યમાન હોય તે ખૂણાને બદલવાની મંજૂરી આપે છે. કોડ પાયથોનમાં લખાયેલો છે
ફ્રેમવર્કનો ઉપયોગ કરીને પાયટોર્ચ. એસેમ્બલી પણ જરૂરી છે ટોર્ચવિઝન અને CUDA ટૂલકીટ.

ટૂલકીટ ઇનપુટ તરીકે દ્વિ-પરિમાણીય છબી મેળવે છે અને પસંદ કરેલ મોડેલના આધારે સંશોધિત પરિણામનું સંશ્લેષણ કરે છે. ત્રણ પરિવર્તન વિકલ્પો સમર્થિત છે:
મૂવિંગ ઑબ્જેક્ટ બનાવવું જે હલનચલનને અનુસરે છે જેના પર મોડેલને તાલીમ આપવામાં આવી હતી. દેખાવના ઘટકોને મોડેલમાંથી ઑબ્જેક્ટમાં સ્થાનાંતરિત કરવું (ઉદાહરણ તરીકે, કપડાંમાં ફેરફાર). નવા કોણનું નિર્માણ (ઉદાહરણ તરીકે, સંપૂર્ણ ચહેરાના ફોટોગ્રાફ પર આધારિત પ્રોફાઇલ છબીનું સંશ્લેષણ). ત્રણેય પદ્ધતિઓને જોડી શકાય છે, ઉદાહરણ તરીકે, તમે ફોટોગ્રાફમાંથી એક વિડિયો જનરેટ કરી શકો છો જે જુદા જુદા કપડાંમાં જટિલ એક્રોબેટિક યુક્તિના પ્રદર્શનનું અનુકરણ કરે છે.

સંશ્લેષણ પ્રક્રિયા દરમિયાન, ફોટોગ્રાફમાં ઑબ્જેક્ટ પસંદ કરવાની અને ખસેડતી વખતે ગુમ થયેલ પૃષ્ઠભૂમિ તત્વો બનાવવાની કામગીરી એકસાથે કરવામાં આવે છે. ન્યુરલ નેટવર્ક મોડેલને એકવાર તાલીમ આપી શકાય છે અને તેનો ઉપયોગ વિવિધ પરિવર્તનો માટે કરી શકાય છે. લોડ કરવા માટે ઉપલબ્ધ તૈયાર મોડેલો જે તમને પ્રારંભિક તાલીમ વિના તરત જ સાધનોનો ઉપયોગ કરવાની મંજૂરી આપે છે. ઓપરેટ કરવા માટે ઓછામાં ઓછા 8GB ની મેમરી સાઈઝ સાથેનું GPU જરૂરી છે.

દ્વિ-પરિમાણીય અવકાશમાં શરીરના સ્થાનનું વર્ણન કરતી મુખ્ય બિંદુઓ દ્વારા પરિવર્તન પર આધારિત રૂપાંતરણ પદ્ધતિઓથી વિપરીત, નકલ કરનાર મશીન લર્નિંગ પદ્ધતિઓનો ઉપયોગ કરીને શરીરના વર્ણન સાથે ત્રિ-પરિમાણીય મેશને સંશ્લેષણ કરવાનો પ્રયાસ કરે છે.
સૂચિત પદ્ધતિ અંગોની કુદરતી હિલચાલનું અનુકરણ કરીને વ્યક્તિગત શરીરના આકાર અને વર્તમાન મુદ્રાને ધ્યાનમાં રાખીને મેનિપ્યુલેશન્સ માટે પરવાનગી આપે છે.

રૂપાંતર પ્રક્રિયા દરમિયાન મૂળ માહિતી જેમ કે ટેક્સચર, શૈલી, રંગો અને ચહેરાની ઓળખને સાચવવા માટે, જનરેટિવ વિરોધી ન્યુરલ નેટવર્ક (લિક્વિડ વાર્પિંગ GAN). સ્ત્રોત ઑબ્જેક્ટ વિશેની માહિતી અને તેની ચોક્કસ ઓળખ માટેના પરિમાણો અરજી કરીને કાઢવામાં આવે છે કન્વોલ્યુશનલ ન્યુરલ નેટવર્ક.

સોર્સ: opennet.ru