NVIDIA ओपन सोर्स स्टाइलगॅन३, चेहर्यावरील संश्लेषणासाठी मशीन लर्निंग सिस्टम

NVIDIA ने StyleGAN3 साठी स्त्रोत कोड प्रकाशित केला आहे, एक जनरेटिव्ह ॲडव्हर्सरियल न्यूरल नेटवर्क (GAN) वर आधारित मशीन लर्निंग सिस्टीम ज्याचा उद्देश लोकांच्या चेहऱ्याच्या वास्तववादी प्रतिमांचे संश्लेषण करणे आहे. कोड PyTorch फ्रेमवर्क वापरून Python मध्ये लिहिलेला आहे आणि NVIDIA सोर्स कोड लायसन्स अंतर्गत वितरित केला जातो, जो व्यावसायिक वापरावर निर्बंध लादतो.

Flickr-Faces-HQ (FFHQ) कलेक्शनवर प्रशिक्षित रेडीमेड प्रशिक्षित मॉडेल, ज्यात लोकांच्या चेहऱ्यांच्या 70 हजार उच्च-गुणवत्तेच्या (1024x1024) PNG प्रतिमांचा समावेश आहे, डाउनलोड करण्यासाठी उपलब्ध आहेत. याव्यतिरिक्त, AFHQv2 (प्राण्यांच्या चेहऱ्यांचे फोटो) आणि मेटफेसेस (शास्त्रीय पेंटिंगच्या पोर्ट्रेटमधून लोकांच्या चेहऱ्याच्या प्रतिमा) संग्रहांच्या आधारे तयार केलेली मॉडेल्स आहेत. विकासाचा फोकस चेहऱ्यांवर आहे, परंतु लँडस्केप आणि कार यासारख्या कोणत्याही वस्तू तयार करण्यासाठी सिस्टमला प्रशिक्षित केले जाऊ शकते. याव्यतिरिक्त, आपल्या स्वतःच्या प्रतिमा संग्रहांचा वापर करून न्यूरल नेटवर्कचे स्वयं-प्रशिक्षण करण्यासाठी साधने प्रदान केली जातात. एक किंवा अधिक NVIDIA ग्राफिक्स कार्ड (टेस्ला V100 किंवा A100 GPU शिफारस केलेले), किमान 12 GB RAM, PyTorch 1.9 आणि CUDA 11.1+ टूलकिट आवश्यक आहे. परिणामी चेहर्याचे कृत्रिम स्वरूप निश्चित करण्यासाठी, एक विशेष डिटेक्टर विकसित केला जात आहे.

सिस्टीम तुम्हाला अनेक चेहऱ्यांच्या वैशिष्ट्यांच्या इंटरपोलेशनवर आधारित नवीन चेहऱ्याची प्रतिमा संश्लेषित करण्याची परवानगी देते, त्यांची वैशिष्ट्यपूर्ण वैशिष्ट्ये एकत्रित करते, तसेच अंतिम प्रतिमा आवश्यक वय, लिंग, केसांची लांबी, स्मित वर्ण, नाकाचा आकार, त्वचेचा रंग, चष्मा आणि छायाचित्राचा कोन. जनरेटर प्रतिमाला शैलींचा संग्रह मानतो, वैशिष्ट्यपूर्ण तपशील (फ्रिकल्स, केस, चष्मा) सामान्य उच्च-स्तरीय विशेषतांपासून (पोझ, लिंग, वय बदल) आपोआप वेगळे करतो आणि आपल्याला वर्चस्वाच्या निर्धारासह कोणत्याही स्वरूपात एकत्र करण्याची परवानगी देतो. वजन गुणांकांद्वारे गुणधर्म. परिणामी, वास्तविक छायाचित्रांपासून वेगळे न करता येणाऱ्या प्रतिमा तयार केल्या जातात.

StyleGAN तंत्रज्ञानाची पहिली आवृत्ती 2019 मध्ये प्रकाशित झाली होती, त्यानंतर 2020 मध्ये StyleGAN2 ची सुधारित आवृत्ती प्रस्तावित करण्यात आली होती, ज्यामुळे प्रतिमेची गुणवत्ता सुधारली आणि काही कलाकृती काढून टाकल्या. त्याच वेळी, प्रणाली स्थिर राहिली, म्हणजे. वास्तववादी ॲनिमेशन आणि चेहर्यावरील हालचाली साध्य करण्यास परवानगी दिली नाही. StyleGAN3 विकसित करताना, ॲनिमेशन आणि व्हिडिओमध्ये वापरण्यासाठी तंत्रज्ञानाचा वापर करणे हे मुख्य ध्येय होते.

StyleGAN3 पुन्हा डिझाइन केलेले इमेज जनरेशन आर्किटेक्चर वापरते, अलियासिंगशिवाय, आणि नवीन न्यूरल नेटवर्क प्रशिक्षण परिस्थिती प्रस्तावित करते. यामध्ये परस्पर व्हिज्युअलायझेशन (visualizer.py), विश्लेषण (avg_spectra.py) आणि व्हिडिओ जनरेशन (gen_video.py) साठी नवीन उपयुक्तता समाविष्ट आहेत. अंमलबजावणीमुळे स्मरणशक्तीचा वापर कमी होतो आणि शिकण्याच्या प्रक्रियेला गती मिळते.

स्टाइलगॅन 3 आर्किटेक्चरचे मुख्य वैशिष्ट्य म्हणजे न्यूरल नेटवर्कमधील सर्व सिग्नल्सचा सतत प्रक्रियेच्या रूपात अर्थ लावणे, ज्यामुळे भाग बनवताना, वैयक्तिक पिक्सेलच्या निरपेक्ष निर्देशांकांशी जोडलेले नसलेल्या सापेक्ष पोझिशन्समध्ये फेरफार करणे शक्य झाले. प्रतिमा, परंतु चित्रित वस्तूंच्या पृष्ठभागावर निश्चित केली आहे. StyleGAN आणि StyleGAN2 मध्ये, पिढीदरम्यान पिक्सेलशी बंधनकारक केल्याने डायनॅमिक रेंडरिंग दरम्यान समस्या निर्माण झाल्या, उदाहरणार्थ, जेव्हा प्रतिमा हलवली गेली तेव्हा लहान तपशीलांमध्ये जुळत नाही, जसे की सुरकुत्या आणि केस, जे बाकीच्या चेहऱ्यापासून वेगळे दिसत होते. . StyleGAN3 मध्ये, या समस्यांचे निराकरण केले आहे आणि तंत्रज्ञान व्हिडिओ निर्मितीसाठी योग्य बनले आहे.

याव्यतिरिक्त, "ट्रान्सफॉर्मर" आर्किटेक्चरसह खोल न्यूरल नेटवर्कवर आधारित सर्वात मोठ्या भाषा मॉडेल MT-NLG च्या NVIDIA आणि Microsoft द्वारे निर्मितीची घोषणा आम्ही लक्षात घेऊ शकतो. मॉडेलमध्ये 530 बिलियन पॅरामीटर्स समाविष्ट आहेत आणि प्रशिक्षणासाठी 4480 GPUs (560 DGX A100 सर्व्हर प्रत्येकी 8 A100 80GB GPU सह) चा क्लस्टर वापरण्यात आला. मॉडेलच्या ऍप्लिकेशन्समध्ये नैसर्गिक भाषेच्या प्रक्रियेच्या समस्यांचे निराकरण करणे समाविष्ट आहे, जसे की अपूर्ण वाक्यांच्या पूर्णतेचा अंदाज लावणे, प्रश्नांची उत्तरे देणे, आकलन वाचणे, नैसर्गिक भाषेतील निष्कर्ष काढणे आणि शब्दांचा अर्थ स्पष्ट करणे.

स्त्रोत: opennet.ru