ProHoster > BLOG > știri pe internet > PIFu este un sistem de învățare automată pentru construirea unui model 3D al unei persoane bazat pe fotografii 2D
PIFu este un sistem de învățare automată pentru construirea unui model 3D al unei persoane bazat pe fotografii 2D
Группа исследователей из нескольких американских университетов опубликовала проект PIFu (Pixel-Aligned Implicit Function), позволяющий применить методы машинного обучения для построения 3D-модели человека по одному или нескольким двумерным изображениям. Система позволяет воссоздавать сложные варианты одежды, такие как юбки со складками и туфли на каблуках, и различные причёски, самостоятельно восстанавливая текстуру и форму в областях, невидимых в проекции, по которой производится построение 3D-модели. Для увеличения качества и детализации итоговой 3D-модели может применяться несколько изображений в разных ракурсах. Код проекта написан на языке Python с использованием фреймворка PyTorch и distribuit de sub licența MIT.
В качестве источника для реконструкции объёмного макета используется нейронная сеть, позволяющая выбирать наиболее вероятную форму и додумывать скрытые элементы, отталкиваясь от модели, обученной на различных вариантах существующих объектов. Параллельно проект предоставляет алгоритм для сопоставления полученного объёмного макета с текстурами на предоставленных двумерных изображениях, который выравнивает пиксели 2D-изображения в соответствии с их позицией на 3D-объекте и генерирует наиболее вероятные отсутствующие текстуры. Для кодирования изображения может применяться любая свёрточная нейронная сетьpentru
реконструкции поверхности применена архитектура «Stacked hourglass", A
для сопоставления текстур задействована нейронная сеть на базе архитектуры CycleGAN.
Применявшаяся исследователями готовая обученная модель доступна для свободной загрузки, но исходные данные, на которых было проведено обучение, остаются закрыты, так как они основаны на результатах коммерческого 3D-сканирования. В качестве источника для самостоятельного обучения модели может использоваться база 3D-моделей людей от проекта Renderpeople.