हायपरस्टाइल - इमेज एडिटिंगसाठी स्टाइलगॅन मशीन लर्निंग सिस्टमचे रुपांतर

तेल अवीव विद्यापीठातील संशोधकांच्या टीमने हायपरस्टाइल सादर केली, NVIDIA च्या StyleGAN2 मशीन लर्निंग सिस्टमची एक उलटी आवृत्ती जी वास्तविक प्रतिमा संपादित करताना गहाळ भाग पुन्हा तयार करण्यासाठी पुन्हा डिझाइन केली गेली आहे. कोड PyTorch फ्रेमवर्क वापरून Python मध्ये लिहिलेला आहे आणि MIT परवान्याअंतर्गत वितरित केला जातो.

जर StyleGAN तुम्हाला वय, लिंग, केसांची लांबी, स्मित वर्ण, नाकाचा आकार, त्वचेचा रंग, चष्मा आणि छायाचित्राचा कोन यांसारखे पॅरामीटर्स निर्दिष्ट करून लोकांचे वास्तववादी दिसणारे नवीन चेहरे संश्लेषित करण्याची परवानगी देत ​​असेल, तर HyperStyle विद्यमान मध्ये समान पॅरामीटर्स बदलणे शक्य करते. मूळ चेहऱ्याची ओळख कायम ठेवत त्यांची वैशिष्ट्यपूर्ण वैशिष्ट्ये न बदलता छायाचित्रे. उदाहरणार्थ, हायपरस्टाइल वापरुन, तुम्ही फोटोमध्ये एखाद्या व्यक्तीच्या वयातील बदलाचे अनुकरण करू शकता, केशरचना बदलू शकता, चष्मा घालू शकता, दाढी किंवा मिशा घालू शकता, प्रतिमेला कार्टून पात्र किंवा हाताने काढलेल्या पेंटिंगचे स्वरूप देऊ शकता. एक दुःखी किंवा आनंदी चेहर्यावरील भाव. शिवाय, सिस्टमला केवळ लोकांचे चेहरे बदलण्यासाठीच नव्हे तर कोणत्याही वस्तूंसाठी, उदाहरणार्थ, कारच्या प्रतिमा संपादित करण्यासाठी प्रशिक्षित केले जाऊ शकते.

संपादनादरम्यान प्रतिमेच्या गहाळ भागांची पुनर्रचना करण्याच्या समस्येचे निराकरण करण्यासाठी प्रस्तावित पद्धतीचा उद्देश आहे. पूर्वी प्रस्तावित पद्धतींमध्ये, पुनर्बांधणी आणि संपादनक्षमता यांच्यातील व्यापार-बंदाचे निराकरण प्रतिमा जनरेटरला फाइन-ट्यूनिंग करून लक्ष्यित प्रतिमेच्या काही भागांना पुनर्स्थित करून सोडवण्यात आले होते जेव्हा सुरुवातीला गहाळ संपादनयोग्य क्षेत्रे पुन्हा तयार केली जातात. अशा पद्धतींचा तोटा म्हणजे प्रत्येक प्रतिमेसाठी न्यूरल नेटवर्कच्या दीर्घकालीन लक्ष्यित प्रशिक्षणाची आवश्यकता आहे.

स्टाइलगॅन अल्गोरिदमवर आधारित पद्धत, प्रतिमांच्या सामान्य संग्रहांवर पूर्व-प्रशिक्षित मानक मॉडेल वापरणे शक्य करते, अल्गोरिदमच्या तुलनेत विश्वासार्हतेच्या पातळीसह मूळ प्रतिमेचे वैशिष्ट्यपूर्ण घटक निर्माण करणे शक्य करते ज्यासाठी प्रत्येकासाठी मॉडेलचे वैयक्तिक प्रशिक्षण आवश्यक असते. प्रतिमा नवीन पद्धतीचा आणखी एक फायदा म्हणजे रिअल टाइमच्या जवळ कार्यक्षमतेसह प्रतिमा सुधारित करण्याची क्षमता.

Flickr-Faces-HQ (FFHQ, लोकांच्या चेहऱ्याच्या 70 हजार उच्च-गुणवत्तेच्या PNG प्रतिमा), स्टॅनफोर्ड कार (कारांच्या 16 हजार प्रतिमा) आणि संग्रहांवर आधारित लोक, कार आणि प्राण्यांच्या चेहऱ्यांसाठी तयार प्रशिक्षित मॉडेल तयार केले जातात. AFHQ (प्राण्यांचे फोटो). याव्यतिरिक्त, आपल्या मॉडेलना प्रशिक्षण देण्यासाठी साधने प्रदान केली जातात, तसेच त्यांच्यासह वापरण्यासाठी योग्य मानक एन्कोडर आणि जनरेटरचे तयार प्रशिक्षित मॉडेल दिले जातात. उदाहरणार्थ, Toonify-शैलीतील प्रतिमा, पिक्सार वर्ण, स्केचेस तयार करण्यासाठी आणि डिस्ने कार्टूनमधून राजकुमारींना शैलीबद्ध करण्यासाठी जनरेटर उपलब्ध आहेत.

स्त्रोत: opennet.ru