HyperStyle — адаптация на системата за машинно обучение StyleGAN за редактиране на изображения

Група изследователи от Телавивския университет представи HyperStyle, инвертирана версия на разработваната от NVIDIA система за машинно обучение StyleGAN2, която е преработена за възстановяване на липсващите части при редактиране на реални изображения. Кодът е написан на Python с използването на фреймворка PyTorch и се разпространява под лиценза MIT.

Докато StyleGAN позволява синтезиране на реалистично изглеждащи нови лица, задавайки параметри като възраст, пол, дължина на косата, характер на усмивката, форма на носа, цвят на кожата, очила и ъгъл на снимката, HyperStyle предоставя възможност да се променят подобни параметри в вече съществуващи фотографии, без да се променят техните характерни черти и запазвайки разпознаваемостта на оригиналното лице. Например, с помощта на HyperStyle може да се симулира промяна на възрастта на човека на снимката, да се смени прическата, да се добавят очила, брада или мустаци, да се придаде на изображението вид на персонаж от анимационен филм или нарисувана картина, да се направи изразът на лицето тъжен или весел. В същото време системата може да бъде обучена не само за промяна на лицата на хора, но и за всякакви предмети, например за редактиране на изображения на автомобили.

Предложеният метод е насочен към решаване на проблема с реконструкцията на липсващите части на изображението при редактиране. В предходно предложените методи компромисът между реконструкцията и редактирането се решаваше чрез фина настройка на генератора на изображения за заместване на части от целевото изображение при възстановяване на първоначално отсъстващите редактируеми области. Недостатък на подобни подходи е необходимостта от продължително целево обучение на невронната мрежа за всяко изображение.

Метод, основанный на алгоритме StyleGAN, предоставя возможности использования предобученной модели на общих коллекциях изображений для генерации элементов, присущих исходному изображению, с уровнем достоверности, сопоставимым с алгоритмами, требующими индивидуальной тренировки модели для каждого изображения. Среди преимуществ нового метода также выделяется возможность модификации изображений с производительностью, близкой к реальному времени.

Готовые предобученные модели подготовлены для лиц людей, автомобилей и животных на основе коллекций Flickr-Faces-HQ (FFHQ, 70 тысяч высококачественных PNG-изображений лиц), Stanford Cars (16 тысяч изображений автомобилей) и AFHQ (фотографии животных). Дополнительно предоставлен инструментарий для обучения собственных моделей, а также готовые предобученные модели типовых кодировщиков и генераторов, пригодные для использования с ними. Например, доступны генераторы для создания изображений в стиле Toonify, персонажей Pixar, формирования скетчей и даже для стилизации под принцесс из мультфильмов Disney.

Източник: opennet.ru