Тель-Авив университетінің зерттеушілер тобы адамның шынайы қозғалыстарын жасауға мүмкіндік беретін MDM (Motion Diffusion Model) машиналық оқыту жүйесімен байланысты бастапқы кодты ашты. Код PyTorch құрылымын пайдаланып Python тілінде жазылған және MIT лицензиясы бойынша таратылады. Эксперименттерді жүргізу үшін сіз дайын үлгілерді де пайдалана аласыз және ұсынылған сценарийлерді пайдалана отырып, үлгілерді өзіңіз жаттықтыра аласыз, мысалы, үш өлшемді адам кескіндерінің HumanML3D жинағын пайдалана отырып. Жүйені үйрету үшін CUDA қолдауы бар GPU қажет.
Адамның қимыл-қозғалысын жандандыру үшін дәстүрлі мүмкіндіктерді пайдалану мүмкін болатын қозғалыстардың үлкен әртүрлілігімен байланысты асқынуларға және оларды формальды түрде сипаттаудың қиындығына, сондай-ақ адамның табиғи емес қозғалыстарға қабылдауының үлкен сезімталдығына байланысты қиын. Генеративті машиналық оқыту үлгілерін пайдаланудың алдыңғы әрекеттерінде сапа және шектеулі экспрессивтілік проблемалары болды.
Ұсынылған жүйе қозғалыстарды генерациялау үшін диффузиялық модельдерді қолдануға тырысады, олар адам қозғалысын имитациялау үшін жақсырақ қолайлы, бірақ жоғары есептеу талаптары және басқару күрделілігі сияқты кемшіліктері жоқ емес. Диффузиялық модельдердің кемшіліктерін азайту үшін MDM әр кезеңде шуды болжау орнына трансформатордың нейрондық желісін және үлгі болжамын пайдаланады, бұл аяқпен беттік байланысын жоғалту сияқты ауытқулардың алдын алуды жеңілдетеді.
Генерацияны басқару үшін табиғи тілдегі іс-әрекеттің мәтіндік сипаттамасын қолдануға болады (мысалы, «адам алға қарай жүріп, еңкейіп жерден бір нәрсені алу») немесе «жүгіру» және «жүгіру» сияқты стандартты әрекеттерді қолдануға болады. секіру». Жүйені қозғалыстарды өңдеу және жоғалған мәліметтерді толтыру үшін де пайдалануға болады. Зерттеушілер сынақ жүргізді, онда қатысушыларға бірнеше нұсқалардың ішінен жақсырақ нәтижені таңдау ұсынылды - 42% жағдайда адамдар нақты қозғалыстардан гөрі синтезделген қозғалыстарды таңдады.
Ақпарат көзі: opennet.ru