Tel Avivo universiteto mokslininkų komanda atidarė šaltinio kodą, susietą su MDM (Motion Diffusion Model) mašininio mokymosi sistema, leidžiančia generuoti realistiškus žmogaus judesius. Kodas parašytas Python naudojant PyTorch sistemą ir platinamas pagal MIT licenciją. Norėdami atlikti eksperimentus, galite naudoti ir paruoštus modelius, ir patys treniruoti modelius naudodami siūlomus scenarijus, pavyzdžiui, naudodami trimačių žmogaus vaizdų kolekciją HumanML3D. Norint išmokyti sistemą, reikalingas GPU su CUDA palaikymu.
Tradicinių gebėjimų naudojimas žmogaus judesiams pagyvinti yra sudėtingas dėl komplikacijų, susijusių su didele galimų judesių įvairove ir sunkumu juos formaliai apibūdinti, taip pat dėl didelio žmogaus suvokimo jautrumo nenatūraliams judesiams. Ankstesni bandymai naudoti generatyvius mašininio mokymosi modelius turėjo problemų dėl kokybės ir riboto išraiškingumo.
Siūloma sistema bando naudoti difuzijos modelius judesiams generuoti, kurie iš prigimties yra geriau pritaikyti žmogaus judesiams imituoti, tačiau nėra be trūkumų, tokių kaip dideli skaičiavimo reikalavimai ir valdymo sudėtingumas. Siekiant sumažinti difuzijos modelių trūkumus, MDM naudoja transformatoriaus neuroninį tinklą ir mėginių prognozavimą, o ne triukšmo prognozavimą kiekviename etape, todėl lengviau išvengti anomalijų, tokių kaip paviršiaus kontakto su pėda praradimas.
Norint valdyti generavimą, galima naudoti tekstinį veiksmo aprašymą natūralia kalba (pavyzdžiui, „žmogus eina į priekį ir pasilenkia, kad ką nors paimtų nuo žemės“) arba standartinius veiksmus, tokius kaip „bėgimas“ ir „ šokinėja“. Sistema taip pat gali būti naudojama redaguoti judesius ir užpildyti prarastas detales. Mokslininkai atliko testą, kurio metu dalyvių buvo paprašyta iš kelių variantų pasirinkti geresnį rezultatą – 42% atvejų žmonės pirmenybę teikė sintezuotiems judesiams, o ne tikriems.
Šaltinis: opennet.ru