PIFu е система за машинно обучение за конструиране на 3D модел на човек въз основа на 2D снимки

Група изследователи от няколко американски университета публикуваха проект PIFu (Pixel-Aligned Implicit Function), която ви позволява да прилагате методи за машинно обучение за изграждане на 3D модел на човек от едно или повече двуизмерни изображения. Системата ви позволява да пресъздавате сложни опции за облекло, като плисирани поли и токчета, както и различни прически, независимо възстановявайки текстура и форма в области, невидими в проекцията, от която е изграден 3D моделът. За да се повиши качеството и детайлността на крайния 3D модел, могат да се използват няколко изображения от различни ъгли. Кодът на проекта е написан на Python с помощта на рамката PyTorch и разпространява се от под лиценза на MIT.

Невронната мрежа се използва като източник за реконструиране на триизмерно оформление, което ви позволява да изберете най-вероятната форма и да измислите скрити елементи, като започнете от модел, обучен върху различни версии на съществуващи обекти. Успоредно с това проектът предоставя алгоритъм за съпоставяне на полученото обемно оформление с текстури в предоставените 2D изображения, което подравнява пикселите на 3D изображението според тяхната позиция върху XNUMXD обекта и генерира най-вероятно липсващите текстури. Всяко изображение може да бъде кодирано конволюционна невронна мрежаза
повърхностна реконструкция приложна архитектура "Подреден пясъчен часовник", а
базирана на архитектура невронна мрежа се използва за съпоставяне на текстури CycleGAN.

Готовият обучен модел, използван от изследователите доступна е достъпен за безплатно изтегляне, но необработените данни, използвани за обучение, остават лични, тъй като се основават на търговски 3D сканирания. Може да се използва като източник за самообучение на модела База данни с 3D модели хора от проекта Renderpeople.

Източник: opennet.ru