Группа исследователей из шанхайского технического университета ကိရိယာများ , позволяющий при помощи методов машинного обучения симулировать движения людей по статическим изображениям, а также заменять одежду, переносить в другое окружение и менять ракурс с которого виден объект. Код написан на языке Python
с применением фреймворка . Для сборки также требуется и CUDA Toolkit.
Инструментарий получает на входе двумерное изображение и синтезирует изменённый результат на основе выбранной модели. Поддерживается три варианта трансформаций:
Создание движущегося объекта, повторяющего движения, на которых была обучена модель. Передача элементов внешнего вида из модели в объект (например, смена одежды). Генерация нового ракурса (например, синтез изображения в профиль на основе фотографии в анфас). Все три метода могут комбинироваться, например, можно по фотографии генерировать видео, имитирующее исполнение сложного акробатического трюка в другой одежде.
В процессе синтеза попутно выполняются операции выделения объекта на фотографии и формирования недостающих элементов фона при перемещении. Модель для нейронной сети может быть натренирована один раз и использована для различных преобразований. Для загрузки готовые модели, позволяющие сразу использовать инструментарий без проведения предварительной тренировки. Для работы требуется GPU с размером памяти не менее 8GB.
В отличие от методов трансформации, основанных на трансформации по ключевым точкам, описывающим расположение тела в двумерном пространстве, в Impersonator предпринята попытка синтеза трехмерной сетки (mesh) с описанием тела, используя методы машинного обучения.
Предложенный метод позволяет проводить манипуляции с учётом персонализированной формы тела и текущей позы, моделируя естественные движения конечностей.
Для сохранения исходной информации, такой как текстуры, стиль, цвета и узнаваемость лица, в процессе трансформации применяется (). Информация об исходном объекте и параметры для его точной идентификации извлекается путём применения .
source: opennet.ru