Група даследнікаў з Тэль-Авіўскага ўніверсітэта прадставіла HyperStyle, інвертаваны варыянт якая развіваецца кампаніяй NVIDIA сістэмы машыннага навучання StyleGAN2, які перапрацаваны для ўзнаўлення якія адсутнічаюць частак пры рэдагаванні рэальных малюнкаў. Код напісаны на мове Python з выкарыстаннем фрэймворка PyTorch і распаўсюджваецца пад ліцэнзіяй MIT.
Калі StyleGAN дазваляе сінтэзаваць рэалістычна выглядаюць новыя асобы людзей, задаючы такія параметры, як узрост, пол, даўжыню валасоў, характар усмешкі, форму носа, колер скуры, акуляры і ракурс фатаграфіі, то HyperStyle дае магчымасць змяняць аналагічныя параметры ва ўжо існуючых фатаграфіях, не мяняючы іх характэрных рыс і захоўваючы пазнавальнасць зыходнай асобы. Напрыклад, пры дапамозе HyperStyle можна сімуляваць змену ўзросту чалавека на фатаграфіі, памяняць прычоску, дадаць акуляры, бараду ці вусы, надаць выяве выгляд персанажа мультфільма або маляванай карціны, зрабіць выраз твару сумным ці вясёлым. Пры гэтым сістэма можа быць навучана не толькі для змены асоб людзей, але і для любых прадметаў, напрыклад, для рэдагавання малюнкаў аўтамабіляў.
Прапанаваны метад накіраваны на вырашэнне праблемы з рэканструкцыяй адсутнічаюць частак выявы пры рэдагаванні. У раней прапанаваных метадах кампраміс паміж рэканструкцыяй і рэдагуемасцю вырашаўся праз тонкую наладу генератара малюнкаў для падстаноўкі частак мэтавага малюнка пры ўзнаўленні першапачаткова адсутных рэдагуемых абласцей. Недахопам падобных падыходаў з'яўляецца неабходнасць правядзення працяглага мэтавага навучання нейронавай сеткі для кожнага малюнка.
Метад на аснове алгарытму StyleGAN дае магчымасць выкарыстоўваць тыпавую мадэль, папярэдне натрэніраваную на агульных калекцыях малюнкаў, для генерацыі ўласцівых зыходнай выяве элементаў з узроўнем дакладнасці супастаўным з алгарытмамі, якія патрабуюць індывідуальнай трэніроўкі мадэлі для кожнага малюнка. З добрых якасцяў новага метаду таксама адзначаецца магчымасць мадыфікаваць выявы з прадукцыйнасцю, блізкай да рэжыму рэальнага часу.
Гатовыя натрэніраваныя мадэлі падрыхтаваны для асоб людзей, машын і жывёл на аснове калекцый Flickr-Faces-HQ (FFHQ, 70 тысяч высакаякасных PNG-малюнкаў асоб людзей), Stanford Cars (16 тысяч малюнкаў машын) і AFHQ (фатаграфіі жывёл). Дадаткова прадстаўлены інструментар для трэніроўкі сваіх мадэляў, а таксама прыдатныя для выкарыстання з імі гатовыя натрэніраваныя мадэлі тыпавых кадавальнікаў і генератараў. Напрыклад, даступныя генератары для стварэння малюнкаў у стылі Toonify, персанажаў Pixar, фармаванні скетчаў і нават для стылізацыі пад прынцэс з дыснэеўскіх мультфільмаў.
Крыніца: opennet.ru