Группа исследователей из нескольких американских университетов опубликовала проект (Pixel-Aligned Implicit Function), позволяющий применить методы машинного обучения для построения 3D-модели человека по одному или нескольким двумерным изображениям. Система позволяет воссоздавать сложные варианты одежды, такие как юбки со складками и туфли на каблуках, и различные причёски, самостоятельно восстанавливая текстуру и форму в областях, невидимых в проекции, по которой производится построение 3D-модели. Для увеличения качества и детализации итоговой 3D-модели может применяться несколько изображений в разных ракурсах. Код проекта написан на языке Python с использованием фреймворка PyTorch и под лицензией MIT.
В качестве источника для реконструкции объёмного макета используется нейронная сеть, позволяющая выбирать наиболее вероятную форму и додумывать скрытые элементы, отталкиваясь от модели, обученной на различных вариантах существующих объектов. Параллельно проект предоставляет алгоритм для сопоставления полученного объёмного макета с текстурами на предоставленных двумерных изображениях, который выравнивает пиксели 2D-изображения в соответствии с их позицией на 3D-объекте и генерирует наиболее вероятные отсутствующие текстуры. Для кодирования изображения может применяться любая , для
реконструкции поверхности применена архитектура ««, а
для сопоставления текстур задействована нейронная сеть на базе архитектуры .
Применявшаяся исследователями готовая обученная модель для свободной загрузки, но исходные данные, на которых было проведено обучение, остаются закрыты, так как они основаны на результатах коммерческого 3D-сканирования. В качестве источника для самостоятельного обучения модели может использоваться людей от проекта Renderpeople.
Источник: opennet.ru
