PIFu як системаи омӯзиши мошинсозӣ барои сохтани модели 3D-и шахс дар асоси аксҳои 2D мебошад

Гурухи муҳаққиқони якчанд донишгоҳҳои Амрико лоиҳаеро нашр карданд PIFu (Функсияи номуайяншудаи Pixel-Aligned), ки ба шумо имкон медиҳад усулҳои омӯзиши мошинро барои сохтани модели 3D-и шахс аз як ё якчанд тасвирҳои дученака истифода баред. Система ба шумо имкон медиҳад, ки вариантҳои мураккаби либос, аз қабили юбка ва пошнаҳои пӯшида ва ороиши мӯйҳои гуногунро дубора эҳё кунед, мустақилона матоъ ва шаклро дар минтақаҳои ноаён дар проексия, ки модели 3D сохта шудааст, барқарор кунед. Барои баланд бардоштани сифат ва тафсилоти модели ниҳоии 3D метавонад якчанд тасвирҳоро аз кунҷҳои гуногун истифода кард. Рамзи лоиҳа дар Python бо истифода аз чаҳорчӯбаи PyTorch навишта шудааст ва паҳн мекунад таҳти иҷозатномаи MIT.

PIFu - системаи омӯзиши мошинсозӣ барои сохтани модели 3D-и шахс дар асоси аксҳои 2D

Шабакаи нейрон ҳамчун сарчашма барои барқарорсозии тарҳи сеченака истифода мешавад, ки ба шумо имкон медиҳад, ки шакли эҳтимолиро интихоб кунед ва унсурҳои пинҳоншударо ихтироъ кунед, аз моделе, ки дар версияҳои гуногуни объектҳои мавҷуда таълим дода шудааст. Дар баробари ин, лоиҳа алгоритми мувофиқ кардани тарҳбандии ҳаҷмии ҳосилшуда бо матнҳои тасвирҳои 2D пешниҳодшударо пешниҳод мекунад, ки пикселҳои тасвири 3D-ро мувофиқи мавқеъашон дар объекти XNUMXD баробар мекунад ва матнҳои эҳтимолии гумшударо тавлид мекунад. Ҳар гуна тасвирро рамзгузорӣ кардан мумкин аст шабакаи нейронҳои конволютсионӣбарои
меъмории татбиқи таҷдиди рӯизаминӣ »Соатчаи қаддор", а
шабакаи нейронӣ дар асоси меъморӣ барои мувофиқати матн истифода мешавад CycleGAN.

PIFu - системаи омӯзиши мошинсозӣ барои сохтани модели 3D-и шахс дар асоси аксҳои 2D

Модели тайёри омӯзонидашуда, ки муҳаққиқон истифода мебаранд дастрас аст барои зеркашии ройгон дастрас аст, аммо маълумоти хоме, ки барои омӯзиш истифода мешавад, махфӣ боқӣ мемонад, зеро он ба сканҳои тиҷоратии 3D асос ёфтааст. Ба сифати манбаи худомузии модел истифода бурдан мумкин аст Пойгоҳи модели 3D одамон аз лоиҳаи Renderpeople.

Манбаъ: opennet.ru

Илова Эзоҳ