Təl-Əviv Universitetinin tədqiqatçılar qrupu NVIDIA-nın StyleGAN2 maşın öyrənmə sisteminin ters çevrilmiş versiyası olan HyperStyle-ı təqdim edib və real həyat şəkillərini redaktə edərkən çatışmayan hissələri yenidən yaratmaq üçün yenidən işlənib. Kod PyTorch çərçivəsindən istifadə edərək Python-da yazılır və MIT lisenziyası altında paylanır.
Əgər StyleGAN yaş, cins, saç uzunluğu, təbəssüm forması, burun forması, dəri rəngi, eynək və foto bucaq kimi parametrləri təyin etməklə insanların real görünən yeni üzlərini sintez etməyə imkan verirsə, HyperStyle mövcud modellərdə oxşar parametrləri dəyişməyə imkan verir. səciyyəvi xüsusiyyətlərini dəyişmədən və orijinal üzün tanınma qabiliyyətini saxlamadan fotoşəkillər. Məsələn, HyperStyle-dan istifadə edərək fotodakı insanın yaş dəyişikliyini simulyasiya edə, saç düzümünü dəyişdirə, eynək, saqqal və ya bığ əlavə edə, şəkli cizgi filmi personajına və ya əllə çəkilmiş şəklə bənzədə bilərsiniz, kədərli və ya şən ifadə. Bu zaman sistem təkcə insanların üzlərini dəyişdirmək üçün deyil, həm də istənilən obyektlər, məsələn, avtomobillərin şəkillərini redaktə etmək üçün öyrədilə bilər.
Təklif olunan üsul redaktə zamanı təsvirin çatışmayan hissələrinin yenidən qurulması ilə bağlı problemin həllinə yönəlib. Əvvəlki üsullarda yenidənqurma və redaktə edilə bilənlik arasında kompromis ilkin itkin redaktə edilə bilən sahələri yenidən yaratarkən hədəf təsvirin hissələrini əvəz etmək üçün şəkil generatorunu dəqiq tənzimləməklə həll edildi. Bu cür yanaşmaların dezavantajı hər bir təsvir üçün neyron şəbəkənin uzunmüddətli məqsədyönlü təliminə ehtiyacdır.
StyleGAN alqoritminə əsaslanan metod, hər bir təsvir üçün modelin fərdi hazırlığını tələb edən alqoritmlərlə müqayisə oluna bilən etibarlılıq səviyyəsi ilə orijinal təsvirə xas olan elementləri yaratmaq üçün əvvəllər ümumi şəkillər kolleksiyası üzərində öyrədilmiş tipik bir modeldən istifadə etməyə imkan verir. . Yeni metodun üstünlükləri arasında real vaxta yaxın performansla şəkillərin dəyişdirilməsinin mümkünlüyü də qeyd olunur.
Əvvəlcədən hazırlanmış modellər Flickr-Faces-HQ (FFHQ, insan üzlərinin 70k yüksək keyfiyyətli PNG şəkilləri), Stanford Cars (16k avtomobil şəkli) və AFHQ (fotolar) kolleksiyaları əsasında insan, avtomobil və heyvan simaları üçün hazırlanır. heyvanlar). Bundan əlavə, onların modellərini öyrətmək üçün alətlər, habelə onlarla istifadə üçün uyğun olan tipik kodlayıcıların və generatorların hazır öyrədilmiş modelləri verilir. Məsələn, Toonify üslubunda şəkillər, Pixar personajları yaratmaq, eskizlər çəkmək və hətta onları Disney şahzadələri kimi tərtib etmək üçün generatorlar mövcuddur.
Mənbə: opennet.ru