Нейрондық желілерді пайдаланып анимация синтезіне арналған ашық код

Шанхай техникалық университетінің бір топ зерттеушілері жарияланған құралдар Еліктіруші, бұл статикалық кескіндерді пайдалана отырып, адамдардың қозғалысын модельдеу, сондай-ақ киімді ауыстыру, оларды басқа ортаға ауыстыру және нысанның көрінетін бұрышын өзгерту үшін машиналық оқыту әдістерін қолдануға мүмкіндік береді. Код Python тілінде жазылған
шеңберді пайдалану PyTorch. Ассамблея да талап етеді алау көру және CUDA құралдар жинағы.

Нейрондық желілерді пайдаланып анимация синтезіне арналған ашық код

Құралдар жинағы кіріс ретінде екі өлшемді кескінді алады және таңдалған үлгі негізінде өзгертілген нәтижені синтездейді. Үш түрлендіру опциясына қолдау көрсетіледі:
Модель үйретілген қозғалыстарды бақылайтын қозғалатын нысанды жасау. Сыртқы көрініс элементтерін модельден объектіге ауыстыру (мысалы, киімді ауыстыру). Жаңа бұрышты генерациялау (мысалы, тұлғаның толық фотосуретіне негізделген профильдік кескіннің синтезі). Барлық үш әдісті біріктіруге болады, мысалы, әртүрлі киімдегі күрделі акробатикалық трюктің орындалуын имитациялайтын фотосуреттен бейнені жасауға болады.

Синтез процесі кезінде фотосуреттегі объектіні таңдау және жылжыту кезінде жетіспейтін фондық элементтерді қалыптастыру операциялары бір уақытта орындалады. Нейрондық желі моделін бір рет оқытуға және әртүрлі түрлендірулер үшін пайдалануға болады. Жүктеу үшін қол жетімді құралдарды алдын ала дайындықсыз бірден пайдалануға мүмкіндік беретін дайын үлгілер. Жұмыс істеу үшін жад көлемі кемінде 8 ГБ болатын GPU қажет.

Екі өлшемді кеңістікте дененің орналасуын сипаттайтын негізгі нүктелер бойынша түрлендіруге негізделген трансформация әдістерінен айырмашылығы, Имперсонатор машиналық оқыту әдістерін қолдана отырып, дененің сипаттамасымен үш өлшемді торды синтездеуге тырысады.
Ұсынылған әдіс аяқ-қолдардың табиғи қозғалысын имитациялай отырып, жеке дене пішіні мен ағымдағы позаны ескере отырып манипуляцияларды жасауға мүмкіндік береді.

Нейрондық желілерді пайдаланып анимация синтезіне арналған ашық код

Трансформация процесінде текстуралар, стиль, түстер және бет-әлпетті тану сияқты түпнұсқа ақпаратты сақтау үшін, генеративті қарсылас нейрондық желі (Сұйықтықтың деформациясы GAN). Бастапқы нысан туралы ақпарат және оның дәл сәйкестендіру параметрлері қолдану арқылы шығарылады конволюциялық нейрондық желі.


Ақпарат көзі: opennet.ru

пікір қалдыру