Tim peneliti saka Universitas Tel Aviv nampilake HyperStyle, versi terbalik saka sistem pembelajaran mesin StyleGAN2 NVIDIA sing didesain ulang kanggo nggawé ulang bagian sing ilang nalika nyunting gambar nyata. Kode iki ditulis ing Python nggunakake framework PyTorch lan mbagekke ing lisensi MIT.
Yen StyleGAN ngidini sampeyan sintesis pasuryan anyar sing katon realistis kanthi nemtokake paramèter kayata umur, jender, dawa rambut, karakter eseman, wangun irung, warna kulit, kacamata lan sudut foto, banjur HyperStyle ndadekake bisa ngganti paramèter sing padha ing sing ana. foto tanpa ngganti fitur karakteristik nalika njaga pangenalan pasuryan asli. Contone, nggunakake HyperStyle, sampeyan bisa simulasi owah-owahan ing umur wong ing foto, ngganti gaya rambut, nambah kaca tingal, jenggot utawa kumis, menehi gambar katon saka karakter kartun utawa lukisan tangan-digambar, nggawe ekspresi wajah sedih utawa bungah. Menapa malih, sistem bisa dilatih ora mung kanggo ngganti pasuryan wong, nanging uga kanggo obyek, contone, kanggo ngowahi gambar saka mobil.
Cara sing diusulake ditujokake kanggo ngrampungake masalah mbangun maneh bagean gambar sing ilang sajrone nyunting. Ing cara ngajokaken sadurunge, trade-off antarane reconstruction lan editability wis ditanggulangi dening fine-tuning generator gambar kanggo ngganti bagéan saka gambar target nalika recreating pisanan ilang wilayah editable. Kerugian saka pendekatan kasebut yaiku perlu kanggo latihan target jangka panjang saka jaringan saraf kanggo saben gambar.
Cara adhedhasar algoritma StyleGAN ndadekake bisa nggunakake model standar, sing wis dilatih ing koleksi gambar umum, kanggo ngasilake unsur karakteristik gambar asli kanthi tingkat linuwih sing bisa dibandhingake karo algoritma sing mbutuhake latihan individu model kanggo saben. gambar. Kauntungan liyane saka metode anyar yaiku kemampuan kanggo ngowahi gambar kanthi kinerja sing cedhak karo wektu nyata.
Model terlatih sing wis disiapake disiapake kanggo pasuryan wong, mobil lan kewan adhedhasar koleksi Flickr-Faces-HQ (FFHQ, 70 ewu gambar PNG kualitas dhuwur saka pasuryan wong), Stanford Cars (16 ewu gambar mobil) lan AFHQ (foto kewan). Kajaba iku, alat kanggo latihan model sampeyan kasedhiya, uga model encoder standar lan generator sing wis dilatih sing wis siap digunakake. Contone, generator kasedhiya kanggo nggawe gambar gaya Toonify, karakter Pixar, nggawe sketsa, lan malah nggawe gaya putri saka kartun Disney.
Source: opennet.ru