HyperStyle - ការសម្របខ្លួននៃប្រព័ន្ធរៀនម៉ាស៊ីន StyleGAN សម្រាប់ការកែរូបភាព

ក្រុមអ្នកស្រាវជ្រាវមកពីសាកលវិទ្យាល័យ Tel Aviv បានបង្ហាញ HyperStyle ដែលជាកំណែបញ្ច្រាសនៃប្រព័ន្ធរៀនម៉ាស៊ីន StyleGAN2 របស់ NVIDIA ដែលត្រូវបានរចនាឡើងវិញដើម្បីបង្កើតផ្នែកដែលបាត់នៅពេលកែសម្រួលរូបភាពពិត។ កូដត្រូវបានសរសេរនៅក្នុង Python ដោយប្រើក្របខ័ណ្ឌ PyTorch ហើយត្រូវបានចែកចាយក្រោមអាជ្ញាប័ណ្ណ MIT ។

ប្រសិនបើ StyleGAN អនុញ្ញាតឱ្យអ្នកសំយោគមុខមនុស្សថ្មីដែលមើលទៅប្រាកដនិយមដោយបញ្ជាក់ប៉ារ៉ាម៉ែត្រដូចជា អាយុ ភេទ ប្រវែងសក់ តួអក្សរញញឹម រូបរាងច្រមុះ ពណ៌ស្បែក វ៉ែនតា និងមុំរូបថត នោះ HyperStyle ធ្វើឱ្យវាអាចផ្លាស់ប្តូរប៉ារ៉ាម៉ែត្រស្រដៀងគ្នាដែលមានស្រាប់។ រូបថតដោយមិនផ្លាស់ប្តូរលក្ខណៈពិសេសរបស់ពួកគេខណៈពេលដែលរក្សាការទទួលស្គាល់មុខដើម។ ជាឧទាហរណ៍ ដោយប្រើ HyperStyle អ្នកអាចក្លែងធ្វើការផ្លាស់ប្តូរអាយុរបស់មនុស្សនៅក្នុងរូបថត ផ្លាស់ប្តូរម៉ូដសក់ បន្ថែមវ៉ែនតា ពុកចង្ការ ឬពុកមាត់ ផ្តល់ឱ្យរូបភាពនូវរូបរាងនៃរូបតុក្កតា ឬគំនូរដែលគូរដោយដៃ។ ទឹកមុខសោកសៅ ឬរីករាយ។ លើសពីនេះទៅទៀត ប្រព័ន្ធនេះអាចត្រូវបានបណ្តុះបណ្តាលមិនត្រឹមតែផ្លាស់ប្តូរមុខមនុស្សប៉ុណ្ណោះទេ ប៉ុន្តែថែមទាំងសម្រាប់វត្ថុណាមួយផងដែរ ឧទាហរណ៍ ដើម្បីកែសម្រួលរូបភាពរថយន្ត។

វិធីសាស្រ្តដែលបានស្នើឡើងគឺសំដៅដោះស្រាយបញ្ហានៃការបង្កើតឡើងវិញនូវផ្នែកដែលបាត់នៃរូបភាពកំឡុងពេលកែសម្រួល។ នៅក្នុងវិធីសាស្រ្តដែលបានស្នើឡើងពីមុន ការដោះដូររវាងការស្ថាបនាឡើងវិញ និងការកែសម្រួលត្រូវបានដោះស្រាយដោយការកែសំរួលម៉ាស៊ីនបង្កើតរូបភាពដើម្បីជំនួសផ្នែកនៃរូបភាពគោលដៅនៅពេលបង្កើតឡើងវិញនូវតំបន់ដែលអាចកែសម្រួលបានដែលបាត់ដំបូង។ គុណវិបត្តិនៃវិធីសាស្រ្តបែបនេះគឺតម្រូវការសម្រាប់ការបណ្តុះបណ្តាលគោលដៅរយៈពេលវែងនៃបណ្តាញសរសៃប្រសាទសម្រាប់រូបភាពនីមួយៗ។

វិធីសាស្រ្តផ្អែកលើក្បួនដោះស្រាយ StyleGAN ធ្វើឱ្យវាអាចប្រើគំរូស្តង់ដារ ដែលត្រូវបានបណ្តុះបណ្តាលជាមុនលើបណ្តុំរូបភាពទូទៅ ដើម្បីបង្កើតធាតុលក្ខណៈនៃរូបភាពដើមជាមួយនឹងកម្រិតនៃភាពជឿជាក់ដែលអាចប្រៀបធៀបទៅនឹងក្បួនដោះស្រាយដែលទាមទារការបណ្តុះបណ្តាលបុគ្គលនៃគំរូសម្រាប់នីមួយៗ។ រូបភាព។ អត្ថប្រយោជន៍មួយទៀតនៃវិធីសាស្រ្តថ្មីគឺសមត្ថភាពក្នុងការកែប្រែរូបភាពជាមួយនឹងការអនុវត្តនៅជិតពេលវេលាពិត។

ម៉ូដែលដែលបានបណ្តុះបណ្តាលរួចរាល់ត្រូវបានរៀបចំសម្រាប់មុខមនុស្ស រថយន្ត និងសត្វ ដោយផ្អែកលើការប្រមូលផ្ដុំ Flickr-Faces-HQ (FFHQ, រូបភាព PNG គុណភាពខ្ពស់ 70 ពាន់រូបភាពនៃមុខមនុស្ស), Stanford Cars (16 ពាន់រូបភាពរថយន្ត) និង AFHQ (រូបថតសត្វ) ។ លើសពីនេះទៀត ឧបករណ៍សម្រាប់ការបណ្តុះបណ្តាលគំរូរបស់អ្នកត្រូវបានផ្តល់ជូន ក៏ដូចជាគំរូដែលបានបណ្តុះបណ្តាលរួចរាល់ហើយនៃឧបករណ៍បំលែងកូដស្តង់ដារ និងម៉ាស៊ីនភ្លើងដែលសមរម្យសម្រាប់ការប្រើប្រាស់ជាមួយពួកគេ។ ជាឧទាហរណ៍ ម៉ាស៊ីនភ្លើងមានសម្រាប់បង្កើតរូបភាពរចនាប័ទ្ម Toonify តួអក្សរ Pixar បង្កើតគំនូរព្រាង និងសូម្បីតែរចនាប័ទ្មព្រះនាងពីតុក្កតា Disney ។

ប្រភព: opennet.ru