PIFu е систем за машинско учење за конструирање на 3Д модел на личност врз основа на 2Д фотографии

Група истражувачи од неколку американски универзитети објавија проект PIFu (Pixel-Aligned Implicit Function), која ви овозможува да примените методи за машинско учење за да изградите 3D модел на личност од една или повеќе дводимензионални слики. Системот ви овозможува да креирате сложени опции за облека, како што се плисирани здолништа и потпетици и разни фризури, независно враќајќи ја текстурата и обликот во областите невидливи во проекцијата од која е изграден 3D моделот. За да се зголеми квалитетот и деталите на конечниот 3D модел, може да се користат неколку слики од различни агли. Проектниот код е напишан во Python користејќи ја рамката PyTorch и дистрибуирани од под лиценцата MIT.

Невралната мрежа се користи како извор за реконструкција на тридимензионален распоред, кој ви овозможува да ја изберете најверојатната форма и да измислите скриени елементи, почнувајќи од модел обучен на различни верзии на постоечки објекти. Паралелно, проектот обезбедува алгоритам за усогласување на добиениот волуметриски распоред со текстурите во дадените 2D слики, што ги усогласува пикселите на 3D сликата според нивната позиција на XNUMXD објектот и ги генерира најверојатните текстури што недостасуваат. Секоја слика може да се шифрира конволутивна невронска мрежаза
применета архитектура за реконструкција на површината“Наредени песочен часовник", А
Невралната мрежа базирана на архитектура се користи за усогласување на текстурата CycleGAN.

Готовиот обучен модел што го користеле истражувачите е достапна е достапен за бесплатно преземање, но необработените податоци што се користат за обука остануваат приватни бидејќи се базираат на комерцијални 3D скенови. Може да се користи како извор за самообучување на моделот База на податоци за 3D модели луѓе од проектот Renderpeople.

Извор: opennet.ru