Група дослідників із шанхайського технічного університету інструментарій , що дозволяє за допомогою методів машинного навчання симулювати рухи людей за статичними зображеннями, а також замінювати одяг, переносити в інше оточення та змінювати ракурс, з якого видно об'єкт. Код написано мовою Python
із застосуванням фреймворку . Для складання також потрібно та CUDA Toolkit.
Інструментарій отримує на вході двовимірне зображення та синтезує змінений результат на основі вибраної моделі. Підтримується три варіанти трансформацій:
Створення об'єкта, що рухається, повторює рухи, на яких була навчена модель. Передача елементів зовнішнього вигляду з моделі на об'єкт (наприклад, зміна одягу). Генерація нового ракурсу (наприклад, синтез зображення у профіль на основі фотографії в анфас). Всі три методи можуть комбінуватись, наприклад, можна по фотографії генерувати відео, що імітує виконання складного акробатичного трюку в іншому одязі.
У процесі синтезу попутно виконуються операції виділення об'єкта на фотографії і формування елементів фону при переміщенні. Модель нейронної мережі може бути натренована один раз і використана для різних перетворень. Для завантаження готові моделі, що дозволяють одразу використовувати інструментарій без проведення попереднього тренування. Для роботи потрібно GPU з розміром пам'яті щонайменше 8GB.
На відміну від методів трансформації, заснованих на трансформації по ключових точках, що описує розташування тіла у двовимірному просторі, в Impersonator зроблено спробу синтезу тривимірної сітки (mesh) з описом тіла, використовуючи методи машинного навчання.
Запропонований метод дозволяє проводити маніпуляції з урахуванням персоналізованої форми тіла та поточної пози, моделюючи природні рухи кінцівок.
Для збереження вихідної інформації, такої як текстури, стиль, кольори та впізнаваність обличчя, у процесі трансформації застосовується (). Інформація про вихідний об'єкт та параметри для його точної ідентифікації витягується шляхом застосування .
Джерело: opennet.ru