Нейрондук тармактарды колдонуу менен анимация синтези үчүн ачык код

Шанхай техникалык университетинин изилдөөчүлөр тобу жарыяланган аспаптар окшош адам, бул статикалык сүрөттөрдү колдонуу менен адамдардын кыймылын имитациялоо, ошондой эле кийимдерди алмаштыруу, аларды башка чөйрөгө өткөрүү жана объект көрүнгөн бурчун өзгөртүү үчүн машина үйрөнүү ыкмаларын колдонууга мүмкүндүк берет. Код Python тилинде жазылган
алкакты колдонуу PyTorch. Ассамблея да талап кылат torchvision жана CUDA Toolkit.

Нейрондук тармактарды колдонуу менен анимация синтези үчүн ачык код

Куралдар топтому эки өлчөмдүү сүрөттү киргизүү катары кабыл алат жана тандалган моделдин негизинде өзгөртүлгөн натыйжаны синтездейт. Үч трансформация опциясы колдоого алынат:
Модель үйрөтүлгөн кыймылдарды ээрчиген кыймылдуу объектти түзүү. Сырткы көрүнүштүн элементтерин моделден объектке өткөрүү (мисалы, кийимди алмаштыруу). Жаңы бурчту түзүү (мисалы, беттин толук фотосүрөтүнүн негизинде профилдик сүрөттүн синтези). Үч ыкманы тең айкалыштырууга болот, мисалы, ар кандай кийимдердеги татаал акробатикалык трюктарды аткарууну окшоштурган фотосүрөттөн видео жаратууга болот.

Синтез процессинде фотосүрөттөгү объектти тандоо жана жылган кезде жетишпеген фон элементтерин түзүү операциялары бир убакта аткарылат. Нейрондук тармак моделин бир жолу үйрөтүп, ар кандай трансформациялар үчүн колдонсо болот. Жүктөө үчүн жеткиликтүү алдын ала даярдыксыз эле куралдарды колдонууга мүмкүндүк берүүчү даяр моделдер. Иштетүү үчүн эстутум көлөмү кеминде 8 ГБ болгон GPU талап кылынат.

Эки өлчөмдүү мейкиндикте дененин жайгашкан ордун сүрөттөгөн негизги пункттар боюнча трансформацияга негизделген трансформация ыкмаларынан айырмаланып, Имперсонатор машина үйрөнүү ыкмаларын колдонуу менен дененин сүрөттөлүшү менен үч өлчөмдүү торду синтездөөгө аракет кылат.
Сунушталган ыкма кол-буттун табигый кыймылын имитациялоочу, жекелештирилген дене формасын жана учурдагы позаны эске алуу менен манипуляцияларды жасоого мүмкүндүк берет.

Нейрондук тармактарды колдонуу менен анимация синтези үчүн ачык код

Трансформация процессинде текстуралар, стилдер, түстөр жана жүзүн таануу сыяктуу оригиналдуу маалыматты сактоо үчүн, генеративдик каршылык нейрон тармагы (Liquid Warping GAN). Булак объекти жөнүндө маалымат жана аны так идентификациялоо үчүн параметрлер өтүнмө аркылуу чыгарылат конволюциялык нейрон тармагы.


Source: opennet.ru

Комментарий кошуу