Ang code sa usa ka sistema sa pagkat-on sa makina alang sa pagmugna og realistiko nga mga lihok sa tawo giablihan

Usa ka grupo sa mga tigdukiduki gikan sa Tel Aviv University ang nagbukas sa source code nga nalangkit sa MDM (Motion Diffusion Model) nga sistema sa pagkat-on sa makina, nga nagtugot sa pagmugna og realistiko nga mga lihok sa tawo. Ang code gisulat sa Python gamit ang PyTorch framework ug giapod-apod ubos sa lisensya sa MIT. Sa pagpahigayon og mga eksperimento, mahimo nimong gamiton ang duha ka andam nga mga modelo ug bansayon ​​ang mga modelo sa imong kaugalingon gamit ang gisugyot nga mga script, pananglitan, gamit ang HumanML3D nga koleksyon sa tulo-ka-dimensyon nga mga hulagway sa tawo. Aron mabansay ang sistema, gikinahanglan ang usa ka GPU nga adunay suporta sa CUDA.

Ang paggamit sa tradisyonal nga mga kapabilidad alang sa pagpahayahay sa mga lihok sa tawo lisud tungod sa mga komplikasyon nga nalangkit sa dako nga nagkalainlain nga posible nga mga lihok ug ang kalisud sa pormal nga paghulagway niini, ingon man ang dako nga pagkasensitibo sa panglantaw sa tawo ngadto sa dili natural nga mga lihok. Ang nangaging mga pagsulay sa paggamit sa generative machine learning nga mga modelo adunay mga problema sa kalidad ug limitado nga pagpahayag.

Ang gisugyot nga sistema misulay sa paggamit sa mga modelo sa pagsabwag aron makamugna og mga lihok, nga sa kinaiyanhon nga mas haum alang sa pagsundog sa mga lihok sa tawo, apan dili walay mga kakulian, sama sa taas nga computational nga mga kinahanglanon ug pagkontrol sa pagkakomplikado. Aron mamenosan ang mga kakulangan sa mga modelo sa pagsabwag, ang MDM naggamit sa usa ka transformer neural network ug sampol nga prediksyon imbes nga prediksyon sa kasaba sa matag yugto, nga mas dali nga mapugngan ang mga anomaliya sama sa pagkawala sa kontak sa ibabaw sa tiil.

Aron makontrol ang henerasyon, posible nga mogamit usa ka deskripsyon sa teksto sa usa ka aksyon sa natural nga lengguwahe (pananglitan, "ang usa ka tawo naglakaw sa unahan ug nagduko aron kuhaon ang usa ka butang gikan sa yuta") o mogamit mga sumbanan nga aksyon sama sa "pagdagan" ug " paglukso.” Ang sistema mahimo usab nga gamiton sa pag-edit sa mga lihok ug pagpuno sa nawala nga mga detalye. Ang mga tigdukiduki nagpahigayon og usa ka pagsulay diin ang mga partisipante gihangyo sa pagpili sa usa ka mas maayo nga resulta gikan sa daghang mga kapilian - sa 42% sa mga kaso, ang mga tawo gipalabi ang synthesized nga mga lihok kay sa tinuod.

Source: opennet.ru