Група дослідників із шанхайського технічного університету
із застосуванням фреймворку
Інструментарій отримує на вході двовимірне зображення та синтезує змінений результат на основі вибраної моделі. Підтримується три варіанти трансформацій:
Створення об'єкта, що рухається, повторює рухи, на яких була навчена модель. Передача елементів зовнішнього вигляду з моделі на об'єкт (наприклад, зміна одягу). Генерація нового ракурсу (наприклад, синтез зображення у профіль на основі фотографії в анфас). Всі три методи можуть комбінуватись, наприклад, можна по фотографії генерувати відео, що імітує виконання складного акробатичного трюку в іншому одязі.
У процесі синтезу попутно виконуються операції виділення об'єкта на фотографії і формування елементів фону при переміщенні. Модель нейронної мережі може бути натренована один раз і використана для різних перетворень. Для завантаження
На відміну від методів трансформації, заснованих на трансформації по ключових точках, що описує розташування тіла у двовимірному просторі, в Impersonator зроблено спробу синтезу тривимірної сітки (mesh) з описом тіла, використовуючи методи машинного навчання.
Запропонований метод дозволяє проводити маніпуляції з урахуванням персоналізованої форми тіла та поточної пози, моделюючи природні рухи кінцівок.
Для збереження вихідної інформації, такої як текстури, стиль, кольори та впізнаваність обличчя, у процесі трансформації застосовується
Джерело: opennet.ru