Група изследователи от няколко американски университета публикува проект (Pixel-Aligned Implicit Function), който позволява прилагането на методи на машинното обучение за изграждане на 3D модел на човек от едно или няколко двумерни изображения. Системата позволява възстановяване на сложни варианти на облекло, като поли с намачквания и обувки на високи токчета, и различни прически, самостоятелно възстановявайки текстурата и формата в области, невидими в проекцията, по която се изгражда 3D моделът. За увеличаване на качеството и детайлността на крайния 3D модел могат да се използват няколко изображения от различни ъгли. Кодът на проекта е написан на Python с използване на фреймуърка PyTorch и под лиценз MIT.
като източник за реконструкция на обемния модел се използва невронна мрежа, позволяваща да се избере най-вероятната форма и да се допълнят скритите елементи, основавайки се на модел, обучен на различни варианти на съществуващи обекти. Паралелно проектът предоставя алгоритъм за съпоставяне на получения обемен модел с текстурите на предоставените двумерни изображения, който подравнява пикселите на 2D изображението в съответствие с позицията им на 3D обекта и генерира най-вероятните липсващи текстури. За кодиране на изображението може да се използва всяка , за
архитектурата на реконструкцията на повърхността е«, а
за съпоставяне на текстурите е ангажирана невронна мрежа на базата на архитектурата .
Използваната от изследователите готова обучена модел за свободно изтегляне, но оригиналните данни, на които е проведено обучението, остават затворени, тъй като са основани на резултатите от търговско 3D сканиране. Като източник за самостоятелно обучение на модела може да се използва на хора от проекта Renderpeople.
Източник: opennet.ru
