HyperStyle — адаптация на системата за машинно обучение StyleGAN за редактиране на изображения

Група изследователи от Техния университет в Тель-Авив представи HyperStyle, обърнат вариант на разработваната от NVIDIA система за машинно обучение StyleGAN2, която е преобработена, за да възстановява липсващите части при редактиране на реални изображения. Кодът е написан на Python с използването на фреймворка PyTorch и се разпространява под MIT лиценз.

Докато StyleGAN позволява синтез на реалистично изглеждащи нови лица, задавайки параметри като възраст, пол, дължина на косата, характер на усмивката, форма на носа, цвят на кожата, очила и ъгъл на снимката, HyperStyle предоставя възможност да променяте аналогични параметри в вече съществуващи фотографии, без да променяте характерните им черти и запазвайки разпознаваемостта на оригиналното лице. Например, с помощта на HyperStyle можете да симулирате промяна на възрастта на човек на фотография, да смените прическа, да добавите очила, брада или мустаци, да придадете на изображението вид на персонаж от анимационен филм или нарисувана картина, да направите изражението на лицето тъжно или весело. При това системата може да бъде обучена не само за промяна на лицата на хора, но и за всякакви предмети, например, за редактиране на изображения на автомобили.

Предложеният метод е насочен към решаване на проблема с реконструкцията на липсващите части на изображението при редактиране. В предишно предложените методи компромисът между реконструкция и редактиране се решаваше чрез финна настройка на генератора на изображения за подмяна на части от целевото изображение при възстановяване на първоначално липсващите редактивни области. Недостатък на подобни подходи е необходимостта от провеждане на продължително целево обучение на невронната мрежа за всяко изображение.

Методът, основан на алгоритъма StyleGAN, предоставя възможност да се използва типов модел, предварително обучен на общи колекции от изображения, за генериране на елементи, характерни за оригиналното изображение, с ниво на достоверност, съпоставимо с алгоритми, изискващи индивидуално обучение на модела за всяко изображение. Сред предимствата на новия метод се откроява и възможността за модифициране на изображения с производителност, близка до реално време.

Готови натренирани модели са създадени за лица на хора, автомобили и животни, базирани на колекции Flickr-Faces-HQ (FFHQ, 70 хиляди висококачествени PNG изображения на лица на хора), Stanford Cars (16 хиляди изображения на автомобили) и AFHQ (снимки на животни). Допълнително е предоставен инструментариум за трениране на собствени модели, както и готови натренирани модели на стандартни кодировачи и генератори, които са съвместими с тях. Например, налични са генератори за създаване на изображения в стил Toonify, персонажи на Pixar, формирования на скици и дори за стилизиране като принцеси от диснеевски анимационни филми.

Източник: opennet.ru