HyperStyle - छवि सम्पादनको लागि StyleGAN मेसिन लर्निङ प्रणालीको अनुकूलन

Tel Aviv विश्वविद्यालयका अनुसन्धानकर्ताहरूको टोलीले HyperStyle प्रस्तुत गर्‍यो, NVIDIA को StyleGAN2 मेसिन लर्निङ प्रणालीको उल्टो संस्करण जुन वास्तविक छविहरू सम्पादन गर्दा हराइरहेको भागहरू पुन: सिर्जना गर्न पुन: डिजाइन गरिएको छ। कोड PyTorch फ्रेमवर्क प्रयोग गरेर Python मा लेखिएको छ र MIT लाइसेन्स अन्तर्गत वितरित छ।

यदि StyleGAN ले तपाईंलाई उमेर, लिङ्ग, कपालको लम्बाइ, मुस्कान क्यारेक्टर, नाकको आकार, छालाको रङ, चश्मा र फोटो कोण जस्ता मापदण्डहरू निर्दिष्ट गरेर मानिसहरूका यथार्थपरक देखिने नयाँ अनुहारहरू संश्लेषण गर्न अनुमति दिन्छ भने, हाइपरस्टाइलले विद्यमान मा समान प्यारामिटरहरू परिवर्तन गर्न सम्भव बनाउँछ। मूल अनुहारको पहिचान कायम राख्दै तिनीहरूको विशेषता सुविधाहरू परिवर्तन नगरी फोटोहरू। उदाहरणका लागि, हाइपरस्टाइल प्रयोग गरेर, तपाईं फोटोमा व्यक्तिको उमेरमा परिवर्तनको नक्कल गर्न सक्नुहुन्छ, कपाल परिवर्तन गर्न सक्नुहुन्छ, चश्मा थप्न सक्नुहुन्छ, दाह्री वा जुँगा, छविलाई कार्टुन क्यारेक्टर वा हातले कोरेको चित्रको उपस्थिति दिन सक्नुहुन्छ। उदास वा हर्षित अनुहारको अभिव्यक्ति। यसबाहेक, प्रणालीलाई मानिसहरूको अनुहार परिवर्तन गर्न मात्र होइन, तर कुनै पनि वस्तुहरूको लागि, उदाहरणका लागि, कारहरूको छविहरू सम्पादन गर्न प्रशिक्षित गर्न सकिन्छ।

प्रस्तावित विधि सम्पादनको क्रममा छविको हराएको भागहरू पुनर्निर्माण गर्ने समस्या समाधान गर्ने उद्देश्यले हो। अघिल्लो प्रस्तावित विधिहरूमा, सुरुमा हराइरहेको सम्पादन योग्य क्षेत्रहरू पुन: सिर्जना गर्दा लक्षित छविको भागहरू प्रतिस्थापन गर्न छवि जनरेटरलाई फाइन-ट्यून गरेर पुनर्निर्माण र सम्पादन योग्यता बीचको व्यापार-अफ समाधान गरिएको थियो। त्यस्ता दृष्टिकोणहरूको हानि भनेको प्रत्येक छविको लागि न्यूरल नेटवर्कको दीर्घकालीन लक्षित प्रशिक्षणको आवश्यकता हो।

StyleGAN एल्गोरिथ्ममा आधारित विधिले मानक मोडेल प्रयोग गर्न सम्भव बनाउँछ, छविहरूको साझा संग्रहमा पूर्व-प्रशिक्षित, एल्गोरिदमसँग तुलना गर्न मिल्ने विश्वसनीयताको स्तरको साथ मूल छविको विशेषताहरू उत्पन्न गर्न प्रत्येकको लागि मोडेलको व्यक्तिगत प्रशिक्षण चाहिन्छ। छवि। नयाँ विधिको अर्को फाइदा वास्तविक समयको नजिकको प्रदर्शनको साथ छविहरू परिमार्जन गर्ने क्षमता हो।

Flickr-Faces-HQ (FFHQ, मानिसहरूको अनुहारको 70 हजार उच्च-गुणस्तरको PNG छविहरू), स्ट्यानफोर्ड कारहरू (कारहरूको 16 हजार छविहरू) र सङ्कलनहरूको आधारमा मानिसहरू, कारहरू र जनावरहरूको अनुहारका लागि तयार-निर्मित प्रशिक्षित मोडेलहरू तयार छन्। AFHQ (जनावरहरूको फोटोहरू)। थप रूपमा, तपाइँका मोडेलहरूलाई तालिम दिनका लागि उपकरणहरू प्रदान गरिन्छ, साथै तिनीहरूसँग प्रयोगको लागि उपयुक्त मानक एन्कोडरहरू र जेनेरेटरहरूको तयार-निर्मित प्रशिक्षित मोडेलहरू। उदाहरणका लागि, जेनेरेटरहरू Toonify-शैली छविहरू, पिक्सार क्यारेक्टरहरू, स्केचहरू सिर्जना गर्न, र डिज्नी कार्टुनहरूबाट राजकुमारीहरूलाई पनि स्टाइल गर्नका लागि उपलब्ध छन्।

स्रोत: opennet.ru