Група дослідників з кількох американських університетів опублікувала проект (Pixel-Aligned Implicit Function), що дозволяє застосувати методи машинного навчання для побудови 3D-моделі людини за одним або декількома двовимірними зображеннями. Система дозволяє відтворювати складні варіанти одягу, такі як спідниці зі складками та туфлі на підборах, та різні зачіски, самостійно відновлюючи текстуру та форму в областях, невидимих у проекції, за якою виробляється побудова 3D-моделі. Для збільшення якості та деталізації підсумкової 3D-моделі можна використовувати кілька зображень у різних ракурсах. Код проекту написаний мовою Python з використанням фреймворку PyTorch та під ліцензією MIT.
Як джерело для реконструкції об'ємного макета використовується нейронна мережа, що дозволяє вибирати найбільш ймовірну форму і додумувати приховані елементи, відштовхуючись від моделі, навченої різних варіантах існуючих об'єктів. Паралельно проект надає алгоритм для зіставлення отриманого об'ємного макета з текстурами на наданих двовимірних зображеннях, який вирівнює пікселі 2D-зображення відповідно до їхньої позиції на 3D-об'єкті та генерує найімовірніші відсутні текстури. Для кодування зображення може застосовуватись будь-яка , Для
реконструкції поверхні застосовано архітектуру ««, А
для зіставлення текстур задіяна нейронна мережа на основі архітектури .
Застосовувана дослідниками готова навчена модель для вільного завантаження, але вихідні дані, на яких було проведено навчання, залишаються закритими, оскільки вони ґрунтуються на результатах комерційного 3D-сканування. Як джерело для самостійного навчання моделі може використовуватися людей від проекту Renderpeople.
Джерело: opennet.ru