प्रोहोस्टर > Блог > इंटरनेट बातम्या > PIFu ही 3D छायाचित्रांवर आधारित व्यक्तीचे 2D मॉडेल तयार करण्यासाठी मशीन लर्निंग सिस्टम आहे
PIFu ही 3D छायाचित्रांवर आधारित व्यक्तीचे 2D मॉडेल तयार करण्यासाठी मशीन लर्निंग सिस्टम आहे
Группа исследователей из нескольких американских университетов опубликовала проект PIFu (Pixel-Aligned Implicit Function), позволяющий применить методы машинного обучения для построения 3D-модели человека по одному или нескольким двумерным изображениям. Система позволяет воссоздавать сложные варианты одежды, такие как юбки со складками и туфли на каблуках, и различные причёски, самостоятельно восстанавливая текстуру и форму в областях, невидимых в проекции, по которой производится построение 3D-модели. Для увеличения качества и детализации итоговой 3D-модели может применяться несколько изображений в разных ракурсах. Код проекта написан на языке Python с использованием фреймворка PyTorch и द्वारा वितरित MIT परवान्या अंतर्गत.
В качестве источника для реконструкции объёмного макета используется нейронная сеть, позволяющая выбирать наиболее вероятную форму и додумывать скрытые элементы, отталкиваясь от модели, обученной на различных вариантах существующих объектов. Параллельно проект предоставляет алгоритм для сопоставления полученного объёмного макета с текстурами на предоставленных двумерных изображениях, который выравнивает пиксели 2D-изображения в соответствии с их позицией на 3D-объекте и генерирует наиболее вероятные отсутствующие текстуры. Для кодирования изображения может применяться любая свёрточная нейронная сетьसाठी
реконструкции поверхности применена архитектура «Stacked hourglass", अ
для сопоставления текстур задействована нейронная сеть на базе архитектуры सायकलगॅन.
Применявшаяся исследователями готовая обученная модель उपलब्ध для свободной загрузки, но исходные данные, на которых было проведено обучение, остаются закрыты, так как они основаны на результатах коммерческого 3D-сканирования. В качестве источника для самостоятельного обучения модели может использоваться база 3D-моделей людей от проекта Renderpeople.