PIFu — система за машинно обучение за изграждане на 3D модел на човек на базата на 2D снимки

Група изследователи от няколко американски университета публикува проект PIFu (Pixel-Aligned Implicit Function), който позволява прилагане на методи за машинно обучение за изграждане на 3D модел на човек от едно или няколко двумерни изображения. Системата позволява реконструкция на сложни варианти на облекло, като плисирани поли и обувки на токчета, и различни прически, независимо възстановявайки текстурата и формата в области, невидими в проекцията, по която се изгражда 3D модел. За увеличаване на качеството и детайлността на крайния 3D модел може да се използват няколко изображения под различни ъгли. Кодът на проекта е написан на Python с използването на фреймворка PyTorch и се разпространява под лиценз MIT.

като източник за реконструкция на обемния макет се използва невронна мрежа, която позволява избор на най-вероятната форма и допълване на скритите елементи, основавайки се на модел, обучен на различни варианти на съществуващи обекти. Паралелно проектът предоставя алгоритъм за съпоставяне на получения обемен макет с текстурите на предоставените двумерни изображения, който подравнява пикселите на 2D изображението в съответствие с тяхната позиция на 3D обекта и генерира най-вероятните липсващи текстури. За кодиране на изображението може да се използва всяка конволюционна невронна мрежа, за
за реконструкция на повърхността е приложена архитектурата „Stacked hourglass“, а
за съпоставяне на текстурите е използвана невронна мрежа на база архитектурата CycleGAN.

Използваната от изследователите готова обучена модел е достъпно за свободно изтегляне, но изходните данни, на които е проведено обучението, остават затворени, тъй като са основани на резултатите от търговското 3D сканиране. Като източник за самостоятелно обучение на модела може да се използва база 3D модели на хора от проекта Renderpeople.

Източник: opennet.ru