Koden för maskininlärningssystemet för att generera realistiska mänskliga rörelser har öppnats.

En grupp forskare vid Tel Avivs universitet har publicerat källkoder kopplade till MDM-systemet (Motion Diffusion Model), som möjliggör generering av realistiska mänskliga rörelser. Koden är skriven i Python med hjälp av PyTorch-ramverket och distribueras under MIT-licensen. För experiment kan både färdiga modeller användas och egna modeller tränas med hjälp av de föreslagna skripten, till exempel genom att använda samlingen av tredimensionella bilder av människor, HumanML3D. En GPU med CUDA-stöd krävs för att träna systemet.

Användningen av traditionella metoder för att animera mänskliga rörelser är komplicerad på grund av svårigheterna kopplade till det stora utbudet av möjliga rörelser och den formella beskrivningens komplexitet, samt på grund av den mänskliga perceptionens höga känslighet för onaturliga rörelser. Tidigare försök att använda generativa maskininlärningsmodeller har haft problem med kvalitet och begränsad uttryckskraft.

I det föreslagna systemet görs ett försök att använda diffusionsmodeller för rörelseskapande, vilka i grunden är bättre anpassade för att simulera mänskliga rörelser, men som inte är utan nackdelar, såsom höga krav på datorkraft och svårigheternas styrning. För att minimera nackdelarna med diffusionsmodellerna används en neuronnätverksarkitektur med 'transformer' och provförutsägelse (sample) istället för brusförutsägelse vid varje steg, vilket förenklar förhindrandet av avvikelser, såsom förlust av ytans kontakt med foten.

För att styra genereringen finns möjlighet att använda en textbeskrivning av handlingen på naturligt språk (till exempel 'en person går framåt och böjer sig för att plocka upp något från marken') eller använda typiska handlingar som 'springa' och 'hoppa'. Systemet kan även användas för att redigera rörelser och fylla i saknade detaljer. Forskare genomförde tester där deltagarna ombads att välja den mer kvalitativa resultatet från flera alternativ – i 42 % av fallen föredrog människor de syntetiserade rörelserna framför de verkliga.

Källa: opennet.ru