Тим на истражувачи од Универзитетот во Тел Авив го претстави HyperStyle, превртена верзија на системот за машинско учење StyleGAN2 на NVIDIA, кој е редизајниран да ги рекреира деловите што недостасуваат при уредување на вистински слики. Кодот е напишан во Python користејќи ја рамката PyTorch и се дистрибуира под лиценцата MIT.
Ако StyleGAN ви дозволува да синтетизирате нови лица на луѓе со реален изглед со одредување параметри како што се возраста, полот, должината на косата, карактерот на насмевката, обликот на носот, бојата на кожата, очилата и аголот на фотографијата, тогаш HyperStyle овозможува промена на слични параметри во постоечките фотографии без да се менуваат нивните карактеристични црти додека се одржува препознавањето на оригиналното лице. На пример, користејќи HyperStyle, можете да симулирате промена на возраста на личноста на фотографијата, да ја промените фризурата, да додадете очила, брада или мустаќи, да и дадете на сликата изглед на цртан лик или рачно нацртана слика, да направите тажен или весел израз на лицето. Покрај тоа, системот може да се обучи не само за менување на лицата на луѓето, туку и за какви било предмети, на пример, за уредување слики од автомобили.
Предложениот метод е насочен кон решавање на проблемот со реконструкција на исчезнатите делови од сликата за време на уредувањето. Во претходно предложените методи, компромисот помеѓу реконструкцијата и уредувањето беше решен со дотерување на генераторот на слики за да се заменат делови од целната слика кога се пресоздаваат првично исчезнатите области за уредување. Недостаток на ваквите пристапи е потребата од долгорочно насочено тренирање на невронската мрежа за секоја слика.
Методот базиран на алгоритмот StyleGAN овозможува да се користи стандарден модел, претходно обучен на вообичаени збирки слики, за да се генерираат елементи карактеристични за оригиналната слика со ниво на доверливост споредливо со алгоритмите кои бараат индивидуална обука на моделот за секоја слика. Друга предност на новиот метод е можноста за модификација на слики со перформанси блиску до реално време.
Подготвени се готови обучени модели за лицата на луѓето, автомобилите и животните врз основа на колекциите Flickr-Faces-HQ (FFHQ, 70 илјади висококвалитетни PNG слики на лицата на луѓето), Stanford Cars (16 илјади слики од автомобили) и AFHQ (фотографии на животни). Дополнително, обезбедени се алатки за обука на вашите модели, како и готови обучени модели на стандардни енкодери и генератори погодни за употреба со нив. На пример, достапни се генератори за создавање слики во стилот на Tooniify, карактери на Pixar, генерирање скици, па дури и стилизирање на принцези од цртаните филмови на Дизни.
Извор: opennet.ru