PIXIE mashinani o‘rganish tizimining manba kodi ochildi, bu sizga bitta fotosuratdan inson tanasining 3D modellari va animatsion avatarlarini yaratish imkonini beradi. Olingan modelga asl fotosuratda tasvirlanganidan farq qiladigan haqiqiy yuz va kiyim to'qimalari biriktirilishi mumkin. Tizimdan, masalan, boshqa nuqtadan renderlash, animatsiya yaratish, yuz shakli asosida tanani rekonstruksiya qilish va barmoqlarning 3D modelini yaratish uchun foydalanish mumkin. Kod Pytorch tizimidan foydalangan holda Python-da yozilgan va faqat notijorat foydalanish litsenziyasi ostida tarqatiladi.
Ta'kidlanishicha, shunga o'xshash loyihalar bilan solishtirganda PIXIE dastlab fotosuratda kiyim, yuz shakli va qo'l bo'g'imlari holatida yashiringan tana konturlarini aniqroq tiklash imkonini beradi. Usul yuz, tana va qo'llarning parametrlarini pikselli tasvirdan ajratib oladigan neyron tarmoqdan foydalanishga asoslangan. Neyron tarmog'ining ishi yorug'likni tahlil qilish asosida g'ayritabiiy pozalarni aniqlashni istisno qilish uchun tananing turli qismlarining og'irlik koeffitsientlari haqida ma'lumot qo'shadigan maxsus boshqaruvchi tomonidan muvofiqlashtiriladi. Modelni yaratishda erkak va ayol tanasi o'rtasidagi anatomik farqlar, duruş parametrlari, yorug'lik, sirtni aks ettirish va uch o'lchovli tekislikda yuzning aylanishi hisobga olinadi.
PIXIE xususiyatlari:
- Qayta tiklangan 3D tana modeli, shuningdek, poza, qo'l holati va yuz ifodasi haqidagi ma'lumotlar SMPL-X parametrlari to'plami sifatida saqlanadi, keyinchalik plagin orqali Blender modellashtirish tizimida foydalanish mumkin.
- Fotosuratdan yuzning shakli va ifodasi, shuningdek uning xususiyatlari, masalan, ajinlar mavjudligi haqida batafsil ma'lumot aniqlanadi (bosh modelini yaratish uchun xuddi shu mualliflar tomonidan ishlab chiqilgan DECA mashinani o'rganish tizimi qo'llaniladi) .
- Yuz teksturasini yaratishda ob'ektning albedosi baholanadi.
- Tuzilgan tana modeli keyinchalik jonlantirilishi yoki boshqa pozada taqdim etilishi mumkin.
- Tabiiy sharoitda odamning oddiy fotosuratlaridan model yaratishni qo'llab-quvvatlash. PIXIE turli xil pozalarni, yorug'lik sharoitlarini aniqlash va ob'ekt qismlarini ko'rishga to'sqinlik qilishda yaxshi ish qiladi.
- Yuqori mahsuldorlik, kamera tasvirlarini dinamik qayta ishlash uchun mos.
Manba: opennet.ru