In team fan ûndersikers fan 'e Universiteit fan Tel Aviv hat HyperStyle ûntbleate, in omkearde ferzje fan NVIDIA's StyleGAN2-masine-learsysteem dat is opnij ûntworpen om ûntbrekkende dielen opnij te meitsjen by it bewurkjen fan echte ôfbyldings. De koade is skreaun yn Python mei it PyTorch-ramt en ferspraat ûnder de MIT-lisinsje.
As StyleGAN jo nije gesichten fan minsken mei realistysk útsjen kinne synthesisearje troch parameters yn te stellen lykas leeftyd, geslacht, hierlingte, glimlachpatroan, noasfoarm, hûdskleur, bril en fotohoeke, dan makket HyperStyle it mooglik om ferlykbere parameters te feroarjen yn besteande foto's sûnder har karakteristike skaaimerken te feroarjen en de werkenberens fan it orizjinele gesicht te behâlden. Bygelyks, mei help fan HyperStyle kinne jo in feroaring yn 'e leeftyd fan in persoan op in foto simulearje, in kapsel feroarje, in bril, in burd of snor tafoegje, in ôfbylding meitsje as in stripfiguer of in mei de hân tekene foto, meitsje in tryst of fleurige útdrukking. Yn dit gefal kin it systeem trainearre wurde net allinich om de gesichten fan minsken te feroarjen, mar ek foar alle objekten, bygelyks foar it bewurkjen fan ôfbyldings fan auto's.
De foarstelde metoade is rjochte op it oplossen fan it probleem mei de rekonstruksje fan de ûntbrekkende dielen fan it byld by it bewurkjen. Yn 'e foarige metoaden waard it kompromis tusken rekonstruksje en bewurkberens oplost troch it fine-tunen fan' e ôfbyldingsgenerator om dielen fan 'e doelôfbylding te ferfangen by it opnij oanmeitsjen fan ynearsten ûntbrekkende bewurkbere gebieten. It neidiel fan sokke oanpak is de needsaak foar lange termyn rjochte training fan it neuronale netwurk foar elke ôfbylding.
De metoade basearre op it StyleGAN-algoritme makket it mooglik om in typysk model te brûken, earder oplaat op mienskiplike kolleksjes fan ôfbyldings, om eleminten te generearjen dy't karakteristyk binne foar it orizjinele byld mei in nivo fan fertrouwen te fergelykjen mei algoritmen dy't yndividuele training fan it model nedich binne foar elke ôfbylding . Under de foardielen fan 'e nije metoade wurdt ek opmurken de mooglikheid om ôfbyldings te feroarjen mei in prestaasje tichtby echte tiid.
De pre-trained modellen wurde taret foar gesichten fan minsken, auto's en bisten basearre op de kolleksjes fan Flickr-Faces-HQ (FFHQ, 70k hege kwaliteit PNG-ôfbyldings fan minsklike gesichten), Stanford Cars (16k ôfbyldings fan auto's) en AFHQ (foto's) fan bisten). Derneist wurde ark oanbean foar it oplieden fan har modellen, lykas ek klearmakke oplaat modellen fan typyske encoders en generators dy't geskikt binne foar gebrûk mei har. Bygelyks, generators binne beskikber foar it meitsjen fan Toonify-stylôfbyldings, Pixar-karakters, sketsen, en sels styling se as Disney-prinsessen.
Boarne: opennet.ru