Tel-Aviv universiteti tadqiqotchilari jamoasi NVIDIA’ning StyleGAN2 mashinani o‘rganish tizimining teskari versiyasi bo‘lgan HyperStyle’ni taqdim etdi, u haqiqiy tasvirlarni tahrirlashda etishmayotgan qismlarni qayta yaratish uchun qayta ishlab chiqilgan. Kod PyTorch tizimi yordamida Python-da yozilgan va MIT litsenziyasi ostida tarqatiladi.
Agar StyleGAN yoshi, jinsi, soch uzunligi, tabassum xarakteri, burun shakli, terining rangi, ko'zoynak va fotosurat burchagi kabi parametrlarni ko'rsatish orqali odamlarning real ko'rinadigan yangi yuzlarini sintez qilishga imkon bersa, HyperStyle mavjud bo'lgan o'xshash parametrlarni o'zgartirish imkonini beradi. asl yuzning tan olinishini saqlab qolgan holda, ularning xarakterli xususiyatlarini o'zgartirmasdan fotosuratlar. Masalan, HyperStyle-dan foydalanib, siz fotosuratdagi odamning yoshi o'zgarishini taqlid qilishingiz, soch turmagini o'zgartirishingiz, ko'zoynak, soqol yoki mo'ylov qo'shishingiz, tasvirga multfilm qahramoni yoki qo'lda chizilgan rasm ko'rinishini berishingiz mumkin. qayg'uli yoki quvnoq yuz ifodasi. Bundan tashqari, tizim nafaqat odamlarning yuzlarini o'zgartirishga, balki har qanday ob'ektlarga, masalan, avtomobillar tasvirini tahrirlashga o'rgatilishi mumkin.
Taklif etilayotgan usul tahrirlash paytida tasvirning etishmayotgan qismlarini qayta tiklash muammosini hal qilishga qaratilgan. Ilgari taklif qilingan usullarda qayta qurish va tahrirlash imkoniyati o'rtasidagi kelishuv dastlab etishmayotgan tahrirlanadigan hududlarni qayta yaratishda maqsadli tasvir qismlarini almashtirish uchun tasvir generatorini nozik sozlash orqali hal qilindi. Bunday yondashuvlarning kamchiliklari har bir tasvir uchun neyron tarmoqni uzoq muddatli maqsadli o'qitish zarurati hisoblanadi.
StyleGAN algoritmiga asoslangan usul umumiy tasvirlar to'plamida oldindan o'rgatilgan standart modeldan foydalanishga, har bir model uchun modelni individual o'qitishni talab qiladigan algoritmlar bilan taqqoslanadigan ishonchlilik darajasiga ega original tasvirga xos elementlarni yaratishga imkon beradi. tasvir. Yangi usulning yana bir afzalligi - real vaqtga yaqin ishlash bilan tasvirlarni o'zgartirish imkoniyati.
Flickr-Faces-HQ (FFHQ, odamlar yuzlarining 70 mingta yuqori sifatli PNG tasvirlari), Stenford Cars (16 mingta mashina tasviri) va to'plamlari asosida odamlar, mashinalar va hayvonlarning yuzlari uchun tayyor o'qitilgan modellar tayyorlanadi. AFHQ (hayvonlarning fotosuratlari). Bundan tashqari, sizning modellaringizni o'rgatish uchun vositalar, shuningdek, ular bilan ishlash uchun mos bo'lgan standart enkoderlar va generatorlarning tayyor o'qitilgan modellari taqdim etiladi. Misol uchun, generatorlar Toonify uslubidagi tasvirlarni, Pixar qahramonlarini yaratish, eskizlarni yaratish va hatto Disney multfilmlaridan malikalarni stilizatsiya qilish uchun mavjud.
Manba: opennet.ru