ΠžΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Π½ ΠΏΡ€ΠΎΠ΅ΠΊΡ‚ PIXIE для построСния 3D-ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ людСй ΠΏΠΎ Ρ„ΠΎΡ‚ΠΎΠ³Ρ€Π°Ρ„ΠΈΠΈ

ΠžΡ‚ΠΊΡ€Ρ‹Ρ‚Ρ‹ исходныС тСксты систСмы машинного обучСния PIXIE, ΠΏΠΎΠ·Π²ΠΎΠ»ΡΡŽΡ‰Π΅ΠΉ ΡΠΎΠ·Π΄Π°Π²Π°Ρ‚ΡŒ 3D-ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΈ Π°Π½ΠΈΠΌΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹Π΅ Π°Π²Π°Ρ‚Π°Ρ€Ρ‹ Ρ‚Π΅Π»Π° Ρ‡Π΅Π»ΠΎΠ²Π΅ΠΊΠ° ΠΏΠΎ ΠΎΠ΄Π½ΠΎΠΉ Ρ„ΠΎΡ‚ΠΎΠ³Ρ€Π°Ρ„ΠΈΠΈ. К Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚ΠΈΡ€ΡƒΡŽΡ‰Π΅ΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΌΠΎΠ³ΡƒΡ‚ Π±Ρ‹Ρ‚ΡŒ привязаны рСалистичныС тСкстуры Π»ΠΈΡ†Π° ΠΈ ΠΎΠ΄Π΅ΠΆΠ΄Ρ‹, ΠΎΡ‚Π»ΠΈΡ‡Π°ΡŽΡ‰ΠΈΠ΅ΡΡ ΠΎΡ‚ ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΡ‘Π½Π½Ρ‹Ρ… Π½Π° исходной Ρ„ΠΎΡ‚ΠΎΠ³Ρ€Π°Ρ„ΠΈΠΈ. БистСма ΠΌΠΎΠΆΠ΅Ρ‚ ΠΏΡ€ΠΈΠΌΠ΅Π½ΡΡ‚ΡŒΡΡ, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, для отрисовки с Π΄Ρ€ΡƒΠ³ΠΎΠΉ Ρ‚ΠΎΡ‡ΠΊΠΈ наблюдСния, создания Π°Π½ΠΈΠΌΠ°Ρ†ΠΈΠΈ, рСконструкции Ρ‚Π΅Π»Π° ΠΏΠΎ Ρ„ΠΎΡ€ΠΌΠ΅ Π»ΠΈΡ†Π° ΠΈ формирования 3D-ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΏΠ°Π»ΡŒΡ†Π΅Π² Ρ€ΡƒΠΊ. Код написан Π½Π° языкС Python с использованиСм Ρ„Ρ€Π΅ΠΉΠΌΠ²ΠΎΡ€ΠΊΠ° Pytorch ΠΈ распространяСтся ΠΏΠΎΠ΄ Π»ΠΈΡ†Π΅Π½Π·ΠΈΠ΅ΠΉ, Π΄ΠΎΠΏΡƒΡΠΊΠ°ΡŽΡ‰Π΅ΠΉ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ использованиС Π² нСкоммСрчСских цСлях.

ЗаявлСно, Ρ‡Ρ‚ΠΎ ΠΏΠΎ ΡΡ€Π°Π²Π½Π΅Π½ΠΈΡŽ с ΠΏΠΎΡ…ΠΎΠΆΠΈΠΌΠΈ ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π°ΠΌΠΈ PIXIE позволяСт Π±ΠΎΠ»Π΅Π΅ Ρ‚ΠΎΡ‡Π½ΠΎ Π²ΠΎΡΡΠΎΠ·Π΄Π°Ρ‚ΡŒ ΠΊΠΎΠ½Ρ‚ΡƒΡ€Ρ‹ Ρ‚Π΅Π»Π°, ΠΈΠ·Π½Π°Ρ‡Π°Π»ΡŒΠ½ΠΎ скрытого ΠΎΠ΄Π΅ΠΆΠ΄ΠΎΠΉ Π½Π° Ρ„ΠΎΡ‚ΠΎΠ³Ρ€Π°Ρ„ΠΈΠΈ, Ρ„ΠΎΡ€ΠΌΡƒ Π»ΠΈΡ†Π° ΠΈ ΠΏΠΎΠ»ΠΎΠΆΠ΅Π½ΠΈΠ΅ суставов Ρ€ΡƒΠΊ. ΠœΠ΅Ρ‚ΠΎΠ΄ основан Π½Π° ΠΏΡ€ΠΈΠΌΠ΅Π½Π΅Π½ΠΈΠΈ Π½Π΅ΠΉΡ€ΠΎΠ½Π½ΠΎΠΉ сСти, которая выдСляСт ΠΈΠ· пиксСльного изобраТСния ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Ρ‹ Π»ΠΈΡ†Π°, Ρ‚Π΅Π»Π° ΠΈ Ρ€ΡƒΠΊ. Π Π°Π±ΠΎΡ‚Ρƒ Π½Π΅ΠΉΡ€ΠΎΠ½Π½ΠΎΠΉ сСти ΠΊΠΎΠΎΡ€Π΄ΠΈΠ½ΠΈΡ€ΡƒΠ΅Ρ‚ ΡΠΏΠ΅Ρ†ΠΈΠ°Π»ΡŒΠ½Ρ‹ΠΉ рСгулятор, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ Π½Π° основании Π°Π½Π°Π»ΠΈΠ·Π° освСщённости добавляСт ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ ΠΎ вСсовых коэффициСнтах Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹Ρ… частСй Ρ‚Π΅Π»Π° для ΠΈΡΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΡ опрСдСлСния нССстСствСнных ΠΏΠΎΠ·. ΠŸΡ€ΠΈ создании ΠΌΠΎΠ΄Π΅Π»ΠΈ ΡƒΡ‡ΠΈΡ‚Ρ‹Π²Π°ΡŽΡ‚ΡΡ анатомичСскиС отличия муТского ΠΈ ТСнского Ρ‚Π΅Π»Π°, ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Ρ‹ ΠΏΠΎΠ·Ρ‹, освСщСниС, ΠΎΡ‚Ρ€Π°ΠΆΠ°Ρ‚Π΅Π»ΡŒΠ½Π°Ρ ΡΠΏΠΎΡΠΎΠ±Π½ΠΎΡΡ‚ΡŒ повСрхности ΠΈ ΠΏΠΎΠ²ΠΎΡ€ΠΎΡ‚ Π»ΠΈΡ†Π° Π² Ρ‚Ρ€Π΅Ρ…ΠΌΠ΅Ρ€Π½ΠΎΠΉ плоскости.

ΠžΡΠΎΠ±Π΅Π½Π½ΠΎΡΡ‚ΠΈ PIXIE:

  • Воссозданная 3D-модСль Ρ‚Π΅Π»Π°, Π° Ρ‚Π°ΠΊΠΆΠ΅ информация ΠΎ ΠΏΠΎΠ·Π΅, ΠΏΠΎΠ»ΠΎΠΆΠ΅Π½ΠΈΠΈ Ρ€ΡƒΠΊ ΠΈ Π²Ρ‹Ρ€Π°ΠΆΠ΅Π½ΠΈΠΈ Π»ΠΈΡ†Π° ΡΠΎΡ…Ρ€Π°Π½ΡΡŽΡ‚ΡΡ Π² Π²ΠΈΠ΄Π΅ Π½Π°Π±ΠΎΡ€Π° ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ² SMPL-X, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π² дальнСйшСм ΠΌΠΎΠ³ΡƒΡ‚ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒΡΡ Π² систСмС модСлирования Blender Ρ‡Π΅Ρ€Π΅Π· ΠΏΠ»Π°Π³ΠΈΠ½.
  • По Ρ„ΠΎΡ‚ΠΎΠ³Ρ€Π°Ρ„ΠΈΠΈ опрСдСляСтся Π΄Π΅Ρ‚Π°Π»ΡŒΠ½Π°Ρ информация ΠΎ Ρ„ΠΎΡ€ΠΌΠ΅ ΠΈ Π²Ρ‹Ρ€Π°ΠΆΠ΅Π½ΠΈΠΈ Π»ΠΈΡ†Π°, Π° Ρ‚Π°ΠΊΠΆΠ΅ Π΅Π³ΠΎ особСнностях, Ρ‚Π°ΠΊΠΈΡ… ΠΊΠ°ΠΊ Π½Π°Π»ΠΈΡ‡ΠΈΠ΅ ΠΌΠΎΡ€Ρ‰ΠΈΠ½ (для построСния ΠΌΠΎΠ΄Π΅Π»ΠΈ Π³ΠΎΠ»ΠΎΠ²Ρ‹ примСняСтся систСма машинного обучСния DECA, разработанная Ρ‚Π΅ΠΌΠΈ ΠΆΠ΅ Π°Π²Ρ‚ΠΎΡ€Π°ΠΌΠΈ).
  • ΠŸΡ€ΠΈ Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ тСкстуры Π»ΠΈΡ†Π° оцСниваСтся альбСдо ΠΎΠ±ΡŠΠ΅ΠΊΡ‚Π°.
  • ΠŸΠΎΡΡ‚Ρ€ΠΎΠ΅Π½Π½Π°Ρ модСль Ρ‚Π΅Π»Π° Π² дальнСйшСм ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ Π°Π½ΠΈΠΌΠΈΡ€ΠΎΠ²Π°Π½Π° ΠΈΠ»ΠΈ прСдставлСна Π² Π΄Ρ€ΡƒΠ³ΠΎΠΉ ΠΏΠΎΠ·Π΅.
  • ΠŸΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΊΠ° построСния ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΏΠΎ ΠΎΠ±Ρ‹Ρ‡Π½Ρ‹ΠΌ фотографиям, Π½Π° ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… Ρ‡Π΅Π»ΠΎΠ²Π΅ΠΊ снят Π² СстСствСнных условиях. PIXIE Ρ…ΠΎΡ€ΠΎΡˆΠΎ справляСтся с ΠΎΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½ΠΈΠ΅ΠΌ Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹Ρ… ΠΏΠΎΠ·, условий освСщСния ΠΈ ΠΏΠ΅Ρ€Π΅ΠΊΡ€Ρ‹Ρ‚ΠΈΠ΅ΠΌ видимости частСй ΠΎΠ±ΡŠΠ΅ΠΊΡ‚Π°.
  • Высокая ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΡŒ, подходящая для динамичСской ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠΈ с ΠΊΠ°ΠΌΠ΅Ρ€Ρ‹.

ΠžΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Π½ ΠΏΡ€ΠΎΠ΅ΠΊΡ‚ PIXIE для построСния 3D-ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ людСй ΠΏΠΎ Ρ„ΠΎΡ‚ΠΎΠ³Ρ€Π°Ρ„ΠΈΠΈ
ΠžΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Π½ ΠΏΡ€ΠΎΠ΅ΠΊΡ‚ PIXIE для построСния 3D-ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ людСй ΠΏΠΎ Ρ„ΠΎΡ‚ΠΎΠ³Ρ€Π°Ρ„ΠΈΠΈ
ΠžΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Π½ ΠΏΡ€ΠΎΠ΅ΠΊΡ‚ PIXIE для построСния 3D-ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ людСй ΠΏΠΎ Ρ„ΠΎΡ‚ΠΎΠ³Ρ€Π°Ρ„ΠΈΠΈ


Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ: opennet.ru