Usa ka grupo sa mga tigdukiduki gikan sa Tel Aviv University nagpresentar sa HyperStyle, usa ka balit-ad nga bersyon sa sistema sa pagkat-on sa makina nga StyleGAN2 sa NVIDIA nga gidesinyo pag-usab aron mabuhat pag-usab ang nawala nga mga bahin kung mag-edit sa tinuod nga mga imahe. Ang code gisulat sa Python gamit ang PyTorch framework ug giapod-apod ubos sa lisensya sa MIT.
Kung gitugotan ka sa StyleGAN nga mag-synthesize ang mga bag-ong nawong sa mga tawo nga tan-awon nga realistiko pinaagi sa pagtino sa mga parameter sama sa edad, gender, gitas-on sa buhok, karakter sa pahiyom, porma sa ilong, kolor sa panit, baso ug anggulo sa litrato, nan ang HyperStyle nagpaposible sa pagbag-o sa parehas nga mga parameter sa naa na. mga litrato nga wala magbag-o sa ilang mga kinaiya nga bahin samtang gipadayon ang pag-ila sa orihinal nga nawong. Pananglitan, gamit ang HyperStyle, mahimo nimong i-simulate ang pagbag-o sa edad sa usa ka tawo sa usa ka litrato, pagbag-o sa estilo sa buhok, pagdugang mga baso, bungot o bigote, hatagan ang imahe sa dagway sa usa ka karakter sa cartoon o usa ka dibuho sa kamot, paghimo. usa ka masulub-on o malipayong ekspresyon sa nawong. Dugang pa, ang sistema mahimong mabansay dili lamang sa pag-usab sa mga nawong sa mga tawo, kondili alang usab sa bisan unsang mga butang, pananglitan, sa pag-edit sa mga hulagway sa mga sakyanan.
Ang gisugyot nga pamaagi gitumong sa pagsulbad sa problema sa pagtukod pag-usab sa nawala nga mga bahin sa usa ka imahe sa panahon sa pag-edit. Sa gisugyot kaniadto nga mga pamaagi, ang trade-off tali sa pagtukod pag-usab ug pagka-edit nasulbad pinaagi sa pag-ayo sa paghimo sa imahe aron ilisan ang mga bahin sa target nga imahe kung maghimo pag-usab sa una nga nawala nga ma-edit nga mga rehiyon. Ang disbentaha sa ingon nga mga pamaagi mao ang panginahanglan alang sa dugay nga gipunting nga pagbansay sa neural network alang sa matag imahe.
Ang pamaagi nga gibase sa StyleGAN algorithm nagpaposible sa paggamit sa usa ka standard nga modelo, pre-trained sa komon nga mga koleksyon sa mga hulagway, aron makamugna og mga elemento nga kinaiya sa orihinal nga hulagway nga adunay lebel sa pagkakasaligan nga ikatandi sa mga algorithm nga nagkinahanglan sa indibidwal nga pagbansay sa modelo alang sa matag usa. hulagway. Laing bentaha sa bag-ong pamaagi mao ang abilidad sa pag-usab sa mga imahe nga adunay pasundayag nga hapit sa tinuud nga oras.
Ang andam nga gihimo nga nabansay nga mga modelo giandam alang sa mga nawong sa mga tawo, mga awto ug mga hayop base sa mga koleksyon sa Flickr-Faces-HQ (FFHQ, 70 ka libo nga taas nga kalidad nga PNG nga mga imahe sa mga nawong sa mga tawo), Stanford Cars (16 ka libo nga mga imahe sa mga awto) ug AFHQ (mga litrato sa mga mananap). Dugang pa, ang mga himan alang sa pagbansay sa imong mga modelo gihatag, ingon man ang mga andam nga nabansay nga mga modelo sa standard nga mga encoder ug mga generator nga angay alang sa paggamit niini. Pananglitan, ang mga generator magamit alang sa paghimo sa mga imahe nga istilo sa Toonify, mga karakter sa Pixar, paghimo og mga sketch, ug bisan ang pag-istilo sa mga prinsesa gikan sa mga cartoon sa Disney.
Source: opennet.ru