PIFu нь 3D гэрэл зураг дээр үндэслэн хүний ​​2D загварыг бүтээх машин сургалтын систем юм

Америкийн хэд хэдэн их сургуулийн хэсэг судлаачид төсөл нийтэлжээ PIFu (Pixel-Aligned Implicit Function) нь нэг буюу хэд хэдэн хоёр хэмжээст зургаас хүний ​​3D загварыг бүтээхэд машин сургалтын аргыг ашиглах боломжийг олгодог. Энэхүү систем нь 3D загварыг бүтээсэн проекцонд үл үзэгдэх хэсгүүдийн бүтэц, хэлбэрийг бие даан сэргээж, хуниастай банзал, өсгийтэй гутал, янз бүрийн үс засалт зэрэг нарийн төвөгтэй хувцасны сонголтуудыг дахин бүтээх боломжийг олгодог. Эцсийн 3D загварын чанар, нарийвчлалыг нэмэгдүүлэхийн тулд өөр өөр өнцгөөс хэд хэдэн зургийг ашиглаж болно. Төслийн кодыг PyTorch framework болон ашиглан Python хэл дээр бичсэн тараасан MIT лицензийн дагуу.

PIFu - 3D гэрэл зураг дээр үндэслэн хүний ​​2D загварыг бүтээх машин сургалтын систем

Мэдрэлийн сүлжээг гурван хэмжээст байршлыг сэргээх эх үүсвэр болгон ашигладаг бөгөөд энэ нь одоо байгаа объектуудын янз бүрийн хувилбарууд дээр бэлтгэгдсэн загвараас эхлээд хамгийн боломжит хэлбэрийг сонгох, далд элементүүдийг зохион бүтээх боломжийг олгодог. Үүний зэрэгцээ уг төсөл нь өгөгдсөн 2 хэмжээст зургийн бүтэцтэй харьцуулах алгоритмыг гаргаж өгсөн бөгөөд энэ нь 3 хэмжээст дүрсний пикселүүдийг XNUMX хэмжээст объект дээрх байрлалын дагуу зэрэгцүүлж, алга болох магадлал өндөртэй бүтцийг бий болгодог. Ямар ч зургийг кодлох боломжтой эргэлтийн мэдрэлийн сүлжээтөлөө
гадаргууг сэргээн засварлах хэрэглээний архитектур "Овоолсон элсэн цаг", а
архитектурт суурилсан мэдрэлийн сүлжээг бүтэцтэй тааруулахад ашигладаг GAN цикл.

PIFu - 3D гэрэл зураг дээр үндэслэн хүний ​​2D загварыг бүтээх машин сургалтын систем

Судлаачдын ашигладаг бэлэн бэлтгэгдсэн загвар боломжтой үнэгүй татаж авах боломжтой боловч сургалтанд ашигласан түүхий өгөгдөл нь арилжааны 3D сканнер дээр суурилсан тул нууц хэвээр байна. Загварыг бие даан сургах эх сурвалж болгон ашиглаж болно 3D загварын мэдээллийн сан Renderpeople төслийн хүмүүс.

Эх сурвалж: opennet.ru

сэтгэгдэл нэмэх