Teamo de esploristoj de la Universitato de Tel-Avivo rivelis HyperStyle, inversan version de la maŝinlernada sistemo StyleGAN2 de NVIDIA, kiu estis restrukturita por rekrei mankantajn partojn dum redaktado de realaj bildoj. La kodo estas skribita en Python uzante la kadron PyTorch kaj distribuita sub la MIT-licenco.
Se StyleGAN ebligas al vi sintezi realisme aspektantajn novajn vizaĝojn de homoj per agordo de parametroj kiel aĝo, sekso, harlongo, ridetŝablono, nazoformo, haŭtkoloro, okulvitroj kaj foto-angulo, tiam HyperStyle ebligas ŝanĝi similajn parametrojn en ekzistantaj. fotoj sen ŝanĝi iliajn karakterizajn trajtojn kaj konservante la rekoneblecon de la origina vizaĝo. Ekzemple, uzante HyperStyle, vi povas simuli ŝanĝon de aĝo de persono en foto, ŝanĝi hararanĝon, aldoni okulvitrojn, barbon aŭ liphararon, fari bildon aspekti kiel bildstrio aŭ mane desegnita bildo, fari malgaja aŭ gaja esprimo. En ĉi tiu kazo, la sistemo povas esti trejnita ne nur por ŝanĝi la vizaĝojn de homoj, sed ankaŭ por ajnaj objektoj, ekzemple, por redakti bildojn de aŭtoj.
La proponita metodo celas solvi la problemon kun la rekonstruo de la mankantaj partoj de la bildo dum redaktado. En la antaŭaj metodoj, la kompromiso inter rekonstruo kaj redaktebleco estis solvita per fajnagordado de la bildgeneratoro por anstataŭigi partojn de la celbildo dum rekreado de komence mankantaj redakteblaj areoj. La malavantaĝo de tiaj aliroj estas la bezono de longperspektiva celita trejnado de la neŭrala reto por ĉiu bildo.
La metodo bazita sur la algoritmo StyleGAN ebligas uzi tipan modelon, antaŭe trejnitan sur komunaj kolektoj de bildoj, por generi elementojn karakterizajn de la originala bildo kun nivelo de fido komparebla al algoritmoj kiuj postulas individuan trejnadon de la modelo por ĉiu bildo. . Inter la avantaĝoj de la nova metodo, oni rimarkas ankaŭ la eblon modifi bildojn kun agado proksima al reala tempo.
La antaŭtrejnitaj modeloj estas pretaj por homaj, aŭtoj kaj bestaj vizaĝoj surbaze de la kolektoj de Flickr-Faces-HQ (FFHQ, 70k altkvalitaj PNG-bildoj de homaj vizaĝoj), Stanford Cars (16k bildoj de aŭtoj) kaj AFHQ (fotoj). de bestoj). Krome, iloj estas provizitaj por trejni siajn modelojn, same kiel pretajn trejnitajn modelojn de tipaj kodiloj kaj generatoroj taŭgaj por uzi kun ili. Ekzemple, generatoroj disponeblas por krei bildojn laŭ stilo Toonify, gravulojn de Pixar, skizi kaj eĉ stiligi ilin kiel Disney-princinoj.
fonto: opennet.ru