PIFu - bu 3D fotosuratlar asosida odamning 2D modelini yaratish uchun mashinani o'rganish tizimi

Amerikaning bir qancha universitetlaridan bir guruh tadqiqotchilar loyihani chop etishdi PIFu (Pixel-Aligned Implicit Function), bu sizga bir yoki bir nechta ikki o'lchovli tasvirlardan odamning 3D modelini yaratish uchun mashinani o'rganish usullarini qo'llash imkonini beradi. Tizim 3D-model qurilgan proyeksiyada ko'rinmaydigan joylarda tekstura va shaklni mustaqil ravishda tiklagan holda, qirrali yubkalar va poshnalar, turli soch turmagi kabi murakkab kiyim variantlarini qayta yaratish imkonini beradi. Yakuniy 3D modelining sifati va tafsilotlarini oshirish uchun turli burchaklardagi bir nechta tasvirlardan foydalanish mumkin. Loyiha kodi PyTorch ramkasidan foydalangan holda Python tilida yozilgan va tarqaladi MIT litsenziyasi ostida.

PIFu - 3D fotosuratlar asosida odamning 2D modelini yaratish uchun mashinani o'rganish tizimi

Neyron tarmog'i uch o'lchovli tartibni qayta tiklash uchun manba sifatida ishlatiladi, bu sizga eng mumkin bo'lgan shaklni tanlash va mavjud ob'ektlarning turli versiyalarida o'qitilgan modeldan boshlab yashirin elementlarni ixtiro qilish imkonini beradi. Bunga parallel ravishda, loyiha olingan hajmli tartibni taqdim etilgan 2D tasvirlardagi teksturalar bilan moslashtirish algoritmini taqdim etadi, u 3D tasvirning piksellarini XNUMXD ob'ektidagi holatiga ko'ra tekislaydi va eng ko'p etishmayotgan teksturalarni yaratadi. Har qanday tasvirni kodlash mumkin konvolyutsion neyron tarmog'iuchun
sirtni qayta qurish amaliy arxitekturasi "Yig'ilgan qum soati", a
arxitekturaga asoslangan neyron tarmog'i to'qimalarni moslashtirish uchun ishlatiladi CycleGAN.

PIFu - 3D fotosuratlar asosida odamning 2D modelini yaratish uchun mashinani o'rganish tizimi

Tadqiqotchilar tomonidan qo'llaniladigan tayyor o'qitilgan model mavjud bepul yuklab olish mumkin, ammo trening uchun foydalaniladigan xom maʼlumotlar shaxsiy boʻlib qoladi, chunki u tijorat 3D skanerlariga asoslangan. Modelni o'z-o'zini o'rgatish uchun manba sifatida foydalanish mumkin 3D model ma'lumotlar bazasi Renderpeople loyihasidagi odamlar.

Manba: opennet.ru

a Izoh qo'shish