Тель-Авивын их сургуулийн судлаачдын баг хүний бодит хөдөлгөөнийг бий болгох боломжийг олгодог MDM (Motion Diffusion Model) машин сургалтын системтэй холбоотой эх кодыг нээжээ. Код нь PyTorch framework ашиглан Python хэл дээр бичигдсэн бөгөөд MIT лицензийн дагуу түгээгддэг. Туршилт хийхийн тулд та бэлэн загваруудыг хоёуланг нь ашиглаж, санал болгож буй скриптүүдийг ашиглан загвараа өөрөө сургаж болно, жишээлбэл, гурван хэмжээст хүний дүрсний HumanML3D цуглуулгыг ашиглан. Системийг сургахын тулд CUDA дэмжлэгтэй GPU шаардлагатай.
Олон янзын боломжит хөдөлгөөнтэй холбоотой хүндрэлүүд, тэдгээрийг албан ёсоор тайлбарлахад хүндрэлтэй, мөн хүний хөдөлгөөнийг мэдрэх чадвар нь байгалийн бус хөдөлгөөнд маш их мэдрэмтгий байдаг тул хүний хөдөлгөөнийг өдөөх уламжлалт чадварыг ашиглах нь хэцүү байдаг. Үйлдвэрлэгч машин сургалтын загварыг ашиглах өмнөх оролдлогууд нь чанар, хязгаарлагдмал илэрхийлэлтэй холбоотой асуудалтай тулгардаг.
Санал болгож буй систем нь хүний хөдөлгөөнийг дуурайхад илүү тохиромжтой боловч тооцооллын өндөр шаардлага, хяналтын нарийн төвөгтэй байдал зэрэг сул талгүй хөдөлгөөн үүсгэхийн тулд тархалтын загваруудыг ашиглахыг оролддог. Тархалтын загваруудын дутагдлыг багасгахын тулд MDM нь үе шат бүрт дуу чимээг урьдчилан таамаглахын оронд трансформаторын мэдрэлийн сүлжээ болон дээжийн таамаглалыг ашигладаг бөгөөд энэ нь хөлтэй гадаргуутай холбоо тогтоох зэрэг гажигаас урьдчилан сэргийлэхэд хялбар болгодог.
Үүсгэх үйлдлийг хянахын тулд байгалийн хэл дээрх үйлдлийн текстийн тайлбарыг ашиглах боломжтой (жишээлбэл, "хүн урагш алхаж, газраас юм авахаар бөхийдөг") эсвэл "гүйх", "хүн" гэх мэт стандарт үйлдлүүдийг ашиглах боломжтой. үсрэх." Мөн системийг хөдөлгөөнийг засах, алдагдсан мэдээллийг бөглөхөд ашиглаж болно. Судлаачид туршилт явуулсан бөгөөд үүнд оролцогчид хэд хэдэн хувилбараас илүү сайн үр дүнг сонгохыг хүссэн - тохиолдлын 42% нь хүмүүс бодит хөдөлгөөнөөс нийлэг хөдөлгөөнийг илүүд үздэг байв.
Эх сурвалж: opennet.ru