Як гурӯҳи муҳаққиқон аз Донишгоҳи Тел-Авив HyperStyle-ро пешниҳод карданд, версияи баръакси системаи омӯзиши мошини NVIDIA StyleGAN2, ки барои аз нав сохтани қисмҳои гумшуда ҳангоми таҳрири тасвирҳои воқеӣ аз нав тарҳрезӣ шудааст. Рамз дар Python бо истифода аз чаҳорчӯбаи PyTorch навишта шудааст ва таҳти иҷозатномаи MIT паҳн карда мешавад.
Агар StyleGAN ба шумо имкон диҳад, ки чеҳраҳои нави воқеии одамонро тавассути муайян кардани параметрҳо, аз қабили синну сол, ҷинс, дарозии мӯй, аломати табассум, шакли бинӣ, ранги пӯст, айнак ва кунҷи акс синтез кунед, пас HyperStyle имкон медиҳад, ки параметрҳои шабеҳро дар мавҷудбуда тағир диҳед. аксҳо бидуни тағир додани хусусиятҳои хоси онҳо ҳангоми нигоҳ доштани эътирофи чеҳраи аслӣ. Масалан, бо истифода аз HyperStyle, шумо метавонед тағирёбии синну соли шахсро дар акс тақлид кунед, ороиши мӯйро тағир диҳед, айнак, риш ё мӯйлаб илова кунед, ба тасвир намуди қаҳрамони мультфильм ё расми дастӣ кашидашударо диҳед, созед. ифодаи чеҳраи ғамгин ё шодмонӣ. Гузашта аз ин, система метавонад на танҳо барои тағир додани чеҳраи одамон, балки барои ҳама гуна объектҳо, масалан, барои таҳрир кардани тасвирҳои мошинҳо омӯзонида шавад.
Усули пешниҳодшуда ба ҳалли масъалаи барқарор кардани қисмҳои гумшудаи тасвир ҳангоми таҳрир нигаронида шудааст. Дар усулҳои қаблан пешниҳодшуда, муомилоти байни барқарорсозӣ ва таҳриркунӣ тавассути танзими дақиқи генератори тасвир барои иваз кардани қисмҳои тасвири мавриди ҳадаф ҳангоми аз нав сохтани минтақаҳои таҳриршаванда дар аввал гумшуда ҳал карда шуд. Камбудии чунин равишҳо зарурати омӯзиши дарозмуддати мақсадноки шабакаи нейрон барои ҳар як тасвир мебошад.
Усули ба алгоритми StyleGAN асосёфта имкон медиҳад, ки модели стандартие, ки дар маҷмӯаҳои умумии тасвирҳо пешакӣ омӯзонида шудааст, барои тавлиди унсурҳои хоси тасвири аслӣ бо дараҷаи эътимоднокӣ бо алгоритмҳое, ки омӯзиши инфиродии моделро барои ҳар як тасвир. Бартарии дигари усули нав ин қобилияти тағир додани тасвирҳо бо иҷрои наздик ба вақти воқеӣ мебошад.
Моделҳои тайёри омӯзонидашуда барои чеҳраи одамон, мошинҳо ва ҳайвонот дар асоси коллексияҳои Flickr-Faces-HQ (FFHQ, 70 ҳазор тасвирҳои PNG-сифати чеҳраи одамон), Стэнфорд Cars (16 ҳазор тасвири мошинҳо) ва AFHQ (аксҳои ҳайвонот). Илова бар ин, асбобҳо барои омӯзиши моделҳои шумо, инчунин моделҳои омодаи омӯзонидашудаи рамзгузорҳои стандартӣ ва генераторҳои барои истифода бо онҳо мувофиқ мавҷуданд. Масалан, генераторҳо барои эҷоди тасвирҳои сабки Toonify, аломатҳои Pixar, эҷоди эскизҳо ва ҳатто услуби маликаҳо аз мультфильмҳои Дисней дастрасанд.
Манбаъ: opennet.ru