वास्तविक मानवी हालचाली निर्माण करण्यासाठी मशीन लर्निंग सिस्टमचा कोड उघडला गेला आहे

तेल अवीव विद्यापीठातील संशोधकांच्या टीमने MDM (मोशन डिफ्यूजन मॉडेल) मशीन लर्निंग सिस्टमशी संबंधित स्त्रोत कोड उघडला आहे, जो वास्तविक मानवी हालचाली निर्माण करण्यास अनुमती देतो. कोड PyTorch फ्रेमवर्क वापरून Python मध्ये लिहिलेला आहे आणि MIT परवान्याअंतर्गत वितरित केला जातो. प्रयोग करण्यासाठी, तुम्ही दोन्ही तयार मॉडेल्स वापरू शकता आणि प्रस्तावित स्क्रिप्ट्स वापरून स्वतः मॉडेल्सना प्रशिक्षित करू शकता, उदाहरणार्थ, त्रिमितीय मानवी प्रतिमांचा HumanML3D संग्रह वापरून. प्रणाली प्रशिक्षित करण्यासाठी, CUDA समर्थनासह GPU आवश्यक आहे.

मानवी हालचालींना अॅनिमेट करण्यासाठी पारंपारिक क्षमतांचा वापर करणे कठीण आहे कारण संभाव्य हालचालींच्या मोठ्या विविधतेशी संबंधित गुंतागुंत आणि त्यांचे औपचारिक वर्णन करण्यात अडचण, तसेच अनैसर्गिक हालचालींबद्दल मानवी आकलनाची प्रचंड संवेदनशीलता. जनरेटिव्ह मशीन लर्निंग मॉडेल्स वापरण्याच्या मागील प्रयत्नांमध्ये गुणवत्ता आणि मर्यादित अभिव्यक्तीसह समस्या होत्या.

प्रस्तावित प्रणाली हालचाली निर्माण करण्यासाठी डिफ्यूजन मॉडेल्स वापरण्याचा प्रयत्न करते, जे मानवी हालचालींचे अनुकरण करण्यासाठी मूळतः अधिक योग्य आहेत, परंतु उच्च संगणकीय आवश्यकता आणि नियंत्रण जटिलता यासारख्या कमतरतांशिवाय नाहीत. डिफ्यूजन मॉडेल्सच्या उणीवा कमी करण्यासाठी, MDM प्रत्येक टप्प्यावर आवाजाच्या अंदाजाऐवजी ट्रान्सफॉर्मर न्यूरल नेटवर्क आणि नमुना अंदाज वापरते, ज्यामुळे पायाशी पृष्ठभागाचा संपर्क कमी होणे यासारख्या विसंगती टाळणे सोपे होते.

पिढी नियंत्रित करण्यासाठी, नैसर्गिक भाषेत एखाद्या क्रियेचे मजकूर वर्णन वापरणे शक्य आहे (उदाहरणार्थ, "एखादी व्यक्ती पुढे चालते आणि जमिनीवरून काहीतरी उचलण्यासाठी खाली वाकते") किंवा "धावणे" आणि "" यासारख्या मानक क्रिया वापरणे शक्य आहे. उडी मारत आहे." प्रणालीचा वापर हालचाली संपादित करण्यासाठी आणि हरवलेला तपशील भरण्यासाठी देखील केला जाऊ शकतो. संशोधकांनी एक चाचणी घेतली ज्यामध्ये सहभागींना अनेक पर्यायांमधून चांगले परिणाम निवडण्यास सांगितले गेले - 42% प्रकरणांमध्ये, लोकांनी वास्तविक लोकांपेक्षा संश्लेषित हालचालींना प्राधान्य दिले.

स्त्रोत: opennet.ru