Ett team av forskare från Tel Aviv University har öppnat källkoden förknippad med MDM (Motion Diffusion Model) maskininlärningssystem, som gör det möjligt att generera realistiska mänskliga rörelser. Koden är skriven i Python med PyTorch-ramverket och distribueras under MIT-licensen. För att genomföra experiment kan du använda både färdiga modeller och träna modellerna själv med de föreslagna skripten, till exempel genom att använda HumanML3D-samlingen av tredimensionella mänskliga bilder. För att träna systemet krävs en GPU med CUDA-stöd.
Användningen av traditionella förmågor för att animera mänskliga rörelser är svårt på grund av de komplikationer som är förknippade med den stora variationen av möjliga rörelser och svårigheten att formellt beskriva dem, samt den stora känsligheten hos människans uppfattning för onaturliga rörelser. Tidigare försök att använda generativa maskininlärningsmodeller har haft problem med kvalitet och begränsad uttrycksförmåga.
Det föreslagna systemet försöker använda diffusionsmodeller för att generera rörelser, som i sig är bättre lämpade för att simulera mänskliga rörelser, men som inte är utan nackdelar, såsom höga beräkningskrav och kontrollkomplexitet. För att minimera bristerna med diffusionsmodeller använder MDM ett transformatorns neurala nätverk och provprediktion istället för brusprediktion i varje steg, vilket gör det lättare att förhindra anomalier som förlust av ytkontakt med foten.
För att kontrollera genereringen är det möjligt att använda en textbeskrivning av en handling på naturligt språk (till exempel "en person går framåt och böjer sig ner för att plocka upp något från marken") eller använda standardåtgärder som "spring" och " Hoppar." Systemet kan också användas för att redigera rörelser och fylla i förlorade detaljer. Forskarna genomförde ett test där deltagarna ombads välja ett bättre resultat från flera alternativ - i 42% av fallen föredrog människor syntetiserade rörelser framför verkliga.
Källa: opennet.ru