हाइपरस्टाइल - छवि संपादन के लिए स्टाइलगैन मशीन लर्निंग सिस्टम का अनुकूलन

तेल अवीव विश्वविद्यालय के शोधकर्ताओं की एक टीम ने हाइपरस्टाइल का अनावरण किया है, जो एनवीआईडीआईए के स्टाइलजीएएन2 मशीन लर्निंग सिस्टम का एक उलटा संस्करण है जिसे वास्तविक जीवन की छवियों को संपादित करते समय गायब हिस्सों को फिर से बनाने के लिए फिर से डिजाइन किया गया है। कोड PyTorch फ्रेमवर्क का उपयोग करके Python में लिखा गया है और MIT लाइसेंस के तहत वितरित किया गया है।

यदि StyleGAN आपको उम्र, लिंग, बालों की लंबाई, मुस्कान पैटर्न, नाक का आकार, त्वचा का रंग, चश्मा और फोटो कोण जैसे पैरामीटर सेट करके लोगों के यथार्थवादी दिखने वाले नए चेहरों को संश्लेषित करने की अनुमति देता है, तो हाइपरस्टाइल मौजूदा में समान मापदंडों को बदलना संभव बनाता है फ़ोटो की विशिष्ट विशेषताओं को बदले बिना और मूल चेहरे की पहचान को बनाए रखते हुए। उदाहरण के लिए, हाइपरस्टाइल का उपयोग करके, आप फोटो में किसी व्यक्ति की उम्र में बदलाव का अनुकरण कर सकते हैं, हेयर स्टाइल बदल सकते हैं, चश्मा, दाढ़ी या मूंछें जोड़ सकते हैं, एक छवि को कार्टून चरित्र या हाथ से खींची गई तस्वीर की तरह बना सकते हैं, एक छवि बना सकते हैं। दुःखद या हर्षित अभिव्यक्ति. इस मामले में, सिस्टम को न केवल लोगों के चेहरे बदलने के लिए, बल्कि किसी भी वस्तु के लिए भी प्रशिक्षित किया जा सकता है, उदाहरण के लिए, कारों की छवियों को संपादित करने के लिए।

प्रस्तावित विधि का उद्देश्य संपादन करते समय छवि के छूटे हुए हिस्सों के पुनर्निर्माण की समस्या को हल करना है। पिछले तरीकों में, प्रारंभिक रूप से गायब संपादन योग्य क्षेत्रों को फिर से बनाते समय लक्ष्य छवि के कुछ हिस्सों को प्रतिस्थापित करने के लिए छवि जनरेटर को ठीक से ट्यून करके पुनर्निर्माण और संपादन क्षमता के बीच समझौता किया गया था। ऐसे दृष्टिकोणों का नुकसान प्रत्येक छवि के लिए तंत्रिका नेटवर्क के दीर्घकालिक लक्षित प्रशिक्षण की आवश्यकता है।

स्टाइलगैन एल्गोरिथ्म पर आधारित विधि एक विशिष्ट मॉडल का उपयोग करना संभव बनाती है, जिसे पहले छवियों के सामान्य संग्रह पर प्रशिक्षित किया गया था, ताकि एल्गोरिदम के तुलनीय आत्मविश्वास के स्तर के साथ मूल छवि की विशेषता वाले तत्वों को उत्पन्न किया जा सके, जिसके लिए प्रत्येक छवि के लिए मॉडल के व्यक्तिगत प्रशिक्षण की आवश्यकता होती है। . नई पद्धति के फायदों में, वास्तविक समय के करीब प्रदर्शन के साथ छवियों को संशोधित करने की संभावना भी नोट की गई है।

पूर्व-प्रशिक्षित मॉडल फ़्लिकर-फेसेस-एचक्यू (एफएफएचक्यू, मानव चेहरों की 70k उच्च-गुणवत्ता वाली पीएनजी छवियां), स्टैनफोर्ड कार्स (कारों की 16k छवियां) और एएफएचक्यू (फोटो) के संग्रह के आधार पर मानव, कार और जानवरों के चेहरों के लिए तैयार किए जाते हैं। जानवरों की)। इसके अलावा, उनके मॉडलों को प्रशिक्षित करने के लिए उपकरण उपलब्ध कराए जाते हैं, साथ ही उनके साथ उपयोग के लिए उपयुक्त विशिष्ट एनकोडर और जनरेटर के तैयार प्रशिक्षित मॉडल भी प्रदान किए जाते हैं। उदाहरण के लिए, टूनिफाई-शैली की छवियां, पिक्सर पात्र, स्केचिंग और यहां तक ​​कि उन्हें डिज्नी राजकुमारियों की तरह स्टाइल करने के लिए जनरेटर उपलब्ध हैं।

स्रोत: opennet.ru