Թել Ավիվի համալսարանի հետազոտողների թիմը ներկայացրել է HyperStyle-ը՝ NVIDIA-ի StyleGAN2 մեքենայական ուսուցման համակարգի շրջված տարբերակը, որը վերանախագծված է իրական պատկերները խմբագրելիս բացակայող մասերը վերստեղծելու համար: Կոդը գրված է Python-ում՝ օգտագործելով PyTorch շրջանակը և տարածվում է MIT լիցենզիայի ներքո:
Եթե StyleGAN-ը թույլ է տալիս սինթեզել մարդկանց իրատեսական տեսք ունեցող նոր դեմքերը՝ նշելով այնպիսի պարամետրեր, ինչպիսիք են տարիքը, սեռը, մազերի երկարությունը, ժպիտի բնավորությունը, քթի ձևը, մաշկի գույնը, ակնոցը և լուսանկարի անկյունը, ապա HyperStyle-ը հնարավորություն է տալիս փոխել նմանատիպ պարամետրերը գոյություն ունեցողներում: լուսանկարներ՝ առանց փոխելու իրենց բնորոշ գծերը՝ պահպանելով բնօրինակ դեմքի ճանաչումը: Օրինակ, HyperStyle-ի միջոցով դուք կարող եք նմանակել լուսանկարում գտնվող մարդու տարիքի փոփոխությունը, փոխել սանրվածքը, ավելացնել ակնոցներ, մորուք կամ բեղեր, պատկերին տալ մուլտհերոսի կամ ձեռքով նկարված նկարի տեսք, կատարել տխուր կամ ուրախ դեմքի արտահայտություն: Ավելին, համակարգը կարող է վարժեցվել ոչ միայն մարդկանց դեմքերը փոխելու, այլև ցանկացած առարկայի, օրինակ՝ մեքենաների պատկերներ խմբագրելու համար:
Առաջարկվող մեթոդն ուղղված է խմբագրման ընթացքում պատկերի բացակայող մասերի վերակառուցման խնդրի լուծմանը։ Նախկինում առաջարկված մեթոդներում փոխզիջումը վերակառուցման և խմբագրման միջև լուծվում էր պատկերի գեներատորի ճշգրտման միջոցով՝ փոխարինելու թիրախ պատկերի մասերը, երբ վերստեղծվում էին ի սկզբանե բացակայող խմբագրվող շրջանները: Նման մոտեցումների թերությունը յուրաքանչյուր պատկերի համար նեյրոնային ցանցի երկարաժամկետ նպատակային ուսուցման անհրաժեշտությունն է:
StyleGAN ալգորիթմի վրա հիմնված մեթոդը հնարավորություն է տալիս օգտագործել ստանդարտ մոդել, որը նախապես վերապատրաստվել է պատկերների ընդհանուր հավաքածուների վրա, ստեղծել բնօրինակ պատկերին բնորոշ տարրեր՝ հուսալիության մակարդակով, որը համեմատելի է ալգորիթմների հետ, որոնք պահանջում են մոդելի անհատական ուսուցում յուրաքանչյուրի համար: պատկեր. Նոր մեթոդի մեկ այլ առավելությունն իրական ժամանակին մոտ կատարմամբ պատկերները փոփոխելու հնարավորությունն է:
Մարդկանց, մեքենաների և կենդանիների դեմքերի համար պատրաստված պատրաստված մոդելներ են պատրաստվում Flickr-Faces-HQ (FFHQ, մարդկանց դեմքերի 70 հազար բարձրորակ PNG պատկերներ), Stanford Cars (ավտոմեքենաների 16 հազար պատկեր) և հավաքածուների հիման վրա։ AFHQ (կենդանիների լուսանկարներ). Բացի այդ, տրամադրվում են ձեր մոդելների վերապատրաստման գործիքներ, ինչպես նաև ստանդարտ կոդավորիչների և գեներատորների պատրաստի պատրաստված մոդելներ, որոնք հարմար են դրանց հետ օգտագործելու համար: Օրինակ, գեներատորները հասանելի են Toonify-ի ոճով պատկերներ, Pixar-ի կերպարներ ստեղծելու, էսքիզներ ստեղծելու և նույնիսկ Դիսնեյի մուլտֆիլմերից արքայադուստրերի ոճավորման համար:
Source: opennet.ru