Опубликован проект PIXIE для построения 3D-моделей людей по фотографии

Открыты исходные тексты системы машинного обучения PIXIE, позволяющей создавать 3D-модели и анимированные аватары тела человека по одной фотографии. К результирующей модели могут быть привязаны реалистичные текстуры лица и одежды, отличающиеся от изображённых на исходной фотографии. Система может применяться, например, для отрисовки с другой точки наблюдения, создания анимации, реконструкции тела по форме лица и формирования 3D-модели пальцев рук. Код написан на языке Python с использованием фреймворка Pytorch и распространяется под лицензией, допускающей только использование в некоммерческих целях.

Заявлено, что по сравнению с похожими проектами PIXIE позволяет более точно воссоздать контуры тела, изначально скрытого одеждой на фотографии, форму лица и положение суставов рук. Метод основан на применении нейронной сети, которая выделяет из пиксельного изображения параметры лица, тела и рук. Работу нейронной сети координирует специальный регулятор, который на основании анализа освещённости добавляет информацию о весовых коэффициентах различных частей тела для исключения определения неестественных поз. При создании модели учитываются анатомические отличия мужского и женского тела, параметры позы, освещение, отражательная способность поверхности и поворот лица в трехмерной плоскости.

Особенности PIXIE:

• Воссозданная 3D-модель тела, а также информация о позе, положении рук и выражении лица сохраняются в виде набора параметров SMPL-X, которые в дальнейшем могут использоваться в системе моделирования Blender через плагин.
• По фотографии определяется детальная информация о форме и выражении лица, а также его особенностях, таких как наличие морщин (для построения модели головы применяется система машинного обучения DECA, разработанная теми же авторами).
• При генерации текстуры лица оценивается альбедо объекта.
• Построенная модель тела в дальнейшем может быть анимирована или представлена в другой позе.
• Поддержка построения модели по обычным фотографиям, на которых человек снят в естественных условиях. PIXIE хорошо справляется с определением различных поз, условий освещения и перекрытием видимости частей объекта.
• Высокая производительность, подходящая для динамической обработки картинки с камеры.

Источник: opennet.ru