Группа исследователей из шанхайского технического университета
с применением фреймворка
Инструментарий получает на входе двумерное изображение и синтезирует изменённый результат на основе выбранной модели. Поддерживается три варианта трансформаций:
Создание движущегося объекта, повторяющего движения, на которых была обучена модель. Передача элементов внешнего вида из модели в объект (например, смена одежды). Генерация нового ракурса (например, синтез изображения в профиль на основе фотографии в анфас). Все три метода могут комбинироваться, например, можно по фотографии генерировать видео, имитирующее исполнение сложного акробатического трюка в другой одежде.
В процессе синтеза попутно выполняются операции выделения объекта на фотографии и формирования недостающих элементов фона при перемещении. Модель для нейронной сети может быть натренирована один раз и использована для различных преобразований. Для загрузки
В отличие от методов трансформации, основанных на трансформации по ключевым точкам, описывающим расположение тела в двумерном пространстве, в Impersonator предпринята попытка синтеза трехмерной сетки (mesh) с описанием тела, используя методы машинного обучения.
Предложенный метод позволяет проводить манипуляции с учётом персонализированной формы тела и текущей позы, моделируя естественные движения конечностей.
Для сохранения исходной информации, такой как текстуры, стиль, цвета и узнаваемость лица, в процессе трансформации применяется
അവലംബം: opennet.ru