Тель-Авив университетінің зерттеушілер тобы нақты кескіндерді өңдеу кезінде жетіспейтін бөліктерді қайта жасау үшін қайта жасалған NVIDIA-ның StyleGAN2 машиналық оқыту жүйесінің инверттелген нұсқасы болып табылатын HyperStyle-ді ұсынды. Код PyTorch құрылымын пайдаланып Python тілінде жазылған және MIT лицензиясы бойынша таратылады.
Егер StyleGAN жасы, жынысы, шаш ұзындығы, күлімсіреу сипаты, мұрын пішіні, тері түсі, көзілдірік және фотосурет бұрышы сияқты параметрлерді көрсету арқылы адамдардың шынайы көрінетін жаңа беттерін синтездеуге мүмкіндік берсе, HyperStyle бұрыннан бар ұқсас параметрлерді өзгертуге мүмкіндік береді. түпнұсқа бетті тануды сақтай отырып, олардың сипатты белгілерін өзгертпей фотосуреттер. Мысалы, HyperStyle көмегімен фотосуреттегі адамның жасын өзгертуге, шаш үлгісін өзгертуге, көзілдірік, сақал немесе мұртты қосуға, суретке мультфильм кейіпкерінің немесе қолмен салынған суреттің көрінісін беруге, қайғылы немесе көңілді бет әлпеті. Сонымен қатар, жүйені адамдардың бет-әлпетін өзгертуге ғана емес, сонымен қатар кез келген нысандарға, мысалы, көліктердің суреттерін өңдеуге үйретуге болады.
Ұсынылған әдіс өңдеу кезінде кескіннің жетіспейтін бөліктерін қалпына келтіру мәселесін шешуге бағытталған. Бұрын ұсынылған әдістерде қайта құру және өңдеу мүмкіндігі арасындағы сәйкестік бастапқыда жоқ өңделетін аймақтарды қайта жасау кезінде мақсатты кескіннің бөліктерін ауыстыру үшін кескін генераторын дәл баптау арқылы шешілді. Мұндай тәсілдердің кемшілігі әрбір кескін үшін нейрондық желіні ұзақ мерзімді мақсатты оқыту қажеттілігі болып табылады.
StyleGAN алгоритміне негізделген әдіс суреттердің жалпы жинақтарында алдын ала дайындалған стандартты модельді пайдалануға, әрбір модель үшін модельді жеке оқытуды талап ететін алгоритмдермен салыстырылатын сенімділік деңгейімен түпнұсқа кескінге тән элементтерді құруға мүмкіндік береді. сурет. Жаңа әдістің тағы бір артықшылығы - нақты уақытқа жақын өнімділікпен кескіндерді өзгерту мүмкіндігі.
Flickr-Faces-HQ (FFHQ, адамдардың беттерінің 70 мың жоғары сапалы PNG кескіні), Stanford Cars (16 мың автомобиль суреті) және топтамалары негізінде адамдардың, көліктердің және жануарлардың бет-әлпетіне арналған дайын оқытылған модельдер дайындалады. AFHQ (жануарлардың фотосуреттері). Сонымен қатар, үлгілеріңізді үйретуге арналған құралдар, сонымен қатар олармен пайдалануға жарамды стандартты кодтауыштар мен генераторлардың дайын оқытылған үлгілері ұсынылады. Мысалы, генераторлар Toonify стиліндегі кескіндерді, Pixar кейіпкерлерін жасауға, эскиздерді жасауға және тіпті Дисней мультфильмдеріндегі ханшайымдарды сәндеуге болады.
Ақпарат көзі: opennet.ru