PIXIE машин сургалтын системийн эх код нээгдэж, нэг зургаас хүний биеийн 3D загвар, хөдөлгөөнт аватарыг бүтээх боломжтой боллоо. Үүссэн загварт анхны зураг дээр дүрслэгдсэнээс ялгаатай нүүр царай, хувцасны бодит бүтцийг хавсаргаж болно. Уг системийг жишээ нь өөр өнцгөөс дүрслэх, хөдөлгөөнт дүрс үүсгэх, нүүрний хэлбэрт тулгуурлан их биеийг сэргээх, хурууны 3D загварыг гаргах зэрэгт ашиглаж болно. Код нь Pytorch фреймворк ашиглан Python хэл дээр бичигдсэн бөгөөд зөвхөн арилжааны бус лицензийн дагуу түгээгддэг.
Үүнтэй төстэй төслүүдтэй харьцуулахад PIXIE нь гэрэл зураг дээрх хувцас, нүүрний хэлбэр, гарын үений байрлалаар нуугдаж байсан биеийн хэлбэрийг илүү нарийвчлалтай гаргах боломжийг олгодог гэж мэдэгджээ. Энэ арга нь пикселийн дүрсээс нүүр, бие, гарны параметрүүдийг гаргаж авдаг мэдрэлийн сүлжээг ашиглахад суурилдаг. Мэдрэлийн сүлжээний ажлыг тусгай хянагч зохицуулдаг бөгөөд энэ нь гэрэлтүүлгийн шинжилгээнд үндэслэн биеийн янз бүрийн хэсгүүдийн жингийн коэффициентүүдийн талаархи мэдээллийг нэмж, байгалийн бус байрлалыг илрүүлэхээс зайлсхийх боломжийг олгодог. Загвар бүтээхдээ эрэгтэй, эмэгтэй бие махбодийн анатомийн ялгаа, байрлалын параметрүүд, гэрэлтүүлэг, гадаргуугийн тусгал, гурван хэмжээст хавтгайд нүүрний эргэлт зэргийг харгалзан үздэг.
PIXIE-ийн онцлогууд:
- Сэргээгдсэн 3D биеийн загвар, мөн байрлал, гарын байрлал, нүүрний хувирлын талаарх мэдээллийг SMPL-X параметрийн багц хэлбэрээр хадгалсан бөгөөд дараа нь Blender загварчлалын системд залгаас ашиглан ашиглах боломжтой.
- Гэрэл зургаас нүүрний хэлбэр, илэрхийлэл, үрчлээ байгаа эсэх зэрэг шинж чанаруудын талаархи нарийвчилсан мэдээллийг тодорхойлдог (ижил зохиогчдын боловсруулсан DECA машин сургалтын системийг толгойн загварыг бий болгоход ашигладаг) .
- Нүүрний бүтэц үүсгэх үед объектын альбедо хэмжээг тооцдог.
- Баригдсан биеийн загварыг дараа нь хөдөлгөөнт хэлбэрээр эсвэл өөр дүр төрхөөр үзүүлж болно.
- Байгалийн нөхцөлд байгаа хүний энгийн гэрэл зургаас загвар бүтээхэд дэмжлэг үзүүлэх. PIXIE нь янз бүрийн байрлал, гэрэлтүүлгийн нөхцөлийг илрүүлэх, объектын хэсгүүдийн харагдах байдалд саад болох зэрэг сайн ажил хийдэг.
- Өндөр гүйцэтгэлтэй, камерын зургийг динамик боловсруулахад тохиромжтой.
Эх сурвалж: opennet.ru