Група дослідників з Тель-Авівського університету представила HyperStyle, інвертований варіант системи машинного навчання StyleGAN2, що розвивається компанією NVIDIA, який перероблений для відтворення відсутніх частин при редагуванні реальних зображень. Код написаний мовою Python з використанням фреймворку PyTorch та поширюється під ліцензією MIT.
Якщо StyleGAN дозволяє синтезувати нові обличчя людей, що реалістично виглядають, задаючи такі параметри, як вік, стать, довжину волосся, характер посмішки, форму носа, колір шкіри, окуляри і ракурс фотографії, то HyperStyle дає можливість змінювати аналогічні параметри у вже існуючих фотографіях, не змінюючи їх характерних рис і зберігаючи впізнаваність вихідної особи. Наприклад, за допомогою HyperStyle можна симулювати зміну віку людини на фотографії, поміняти зачіску, додати окуляри, бороду або вуса, надати зображенню вигляду персонажа мультфільму або мальованої картини, зробити вираз обличчя сумним або веселим. При цьому система може бути навчена не тільки для зміни осіб людей, але й для будь-яких предметів, наприклад, для редагування зображень автомобілів.
Запропонований метод націлений на вирішення проблеми з реконструкцією частин зображення, що бракують, при редагуванні. У методах, що раніше пропонувалися, компроміс між реконструкцією і редагованістю вирішувався через тонке налаштування генератора зображень для підстановки частин цільового зображення при відтворенні відсутніх редагованих областей. Недоліком таких підходів є необхідність проведення тривалого цільового навчання нейронної мережі для кожного зображення.
Метод на основі алгоритму StyleGAN дає можливість використовувати типову модель, попередньо натреновану на загальних колекціях зображень, для генерації властивих вихідному зображенню елементів з рівнем достовірності, який можна порівняти з алгоритмами, що вимагають індивідуального тренування моделі для кожного зображення. З переваг нового методу також відзначається можливість модифікувати зображення з продуктивністю, близькою до режиму реального часу.
Готові натреновані моделі підготовлені для осіб людей, машин та тварин на основі колекцій Flickr-Faces-HQ (FFHQ, 70 тисяч високоякісних PNG-зображень осіб людей), Stanford Cars (16 тисяч зображень машин) та AFHQ (фотографії тварин). Додатково надано інструментарій для тренування своїх моделей, а також придатні для використання з ними готові натреновані моделі типових кодувальників та генераторів. Наприклад, доступні генератори для створення картинок у стилі Toonify, персонажів Pixar, формування скетчів і навіть для стилізації під принцес із диснеївських мультфільмів.
Джерело: opennet.ru