ProHoster > Blog > lajme në internet > PIFu është një sistem mësimi i makinerive për ndërtimin e një modeli 3D të një personi bazuar në fotografi 2D
PIFu është një sistem mësimi i makinerive për ndërtimin e një modeli 3D të një personi bazuar në fotografi 2D
Группа исследователей из нескольких американских университетов опубликовала проект PIFu (Pixel-Aligned Implicit Function), позволяющий применить методы машинного обучения для построения 3D-модели человека по одному или нескольким двумерным изображениям. Система позволяет воссоздавать сложные варианты одежды, такие как юбки со складками и туфли на каблуках, и различные причёски, самостоятельно восстанавливая текстуру и форму в областях, невидимых в проекции, по которой производится построение 3D-модели. Для увеличения качества и детализации итоговой 3D-модели может применяться несколько изображений в разных ракурсах. Код проекта написан на языке Python с использованием фреймворка PyTorch и shperndare nga nën licencën MIT.
В качестве источника для реконструкции объёмного макета используется нейронная сеть, позволяющая выбирать наиболее вероятную форму и додумывать скрытые элементы, отталкиваясь от модели, обученной на различных вариантах существующих объектов. Параллельно проект предоставляет алгоритм для сопоставления полученного объёмного макета с текстурами на предоставленных двумерных изображениях, который выравнивает пиксели 2D-изображения в соответствии с их позицией на 3D-объекте и генерирует наиболее вероятные отсутствующие текстуры. Для кодирования изображения может применяться любая свёрточная нейронная сетьpër
реконструкции поверхности применена архитектура «Stacked hourglass", a
для сопоставления текстур задействована нейронная сеть на базе архитектуры CycleGAN.
Применявшаяся исследователями готовая обученная модель në dispozicion для свободной загрузки, но исходные данные, на которых было проведено обучение, остаются закрыты, так как они основаны на результатах коммерческого 3D-сканирования. В качестве источника для самостоятельного обучения модели может использоваться база 3D-моделей людей от проекта Renderpeople.