Рамзи кушода барои синтези аниматсия бо истифода аз шабакаҳои нейрон

Гурухи муҳаққиқони Донишгоҳи техникии Шанхай нашр шудааст асбобхо Пайравӣ, ки бо истифода аз усулҳои омӯзиши мошинсозӣ барои тақлид кардани ҳаракатҳои одамон бо истифода аз тасвирҳои статикӣ, инчунин иваз кардани либос, интиқоли онҳо ба муҳити дигар ва тағир додани кунҷи намоёни объект имкон медиҳад. Рамз дар Python навишта шудааст
бо истифода аз чаҳорчӯба PyTorch. Ассамблея низ талаб мекунад машъал ва асбобҳои CUDA.

Маҷмӯаи асбобҳо тасвири дученакаро ҳамчун вуруд қабул мекунад ва натиҷаи тағирёфтаро дар асоси модели интихобшуда синтез мекунад. Се варианти табдилдиҳӣ дастгирӣ карда мешавад:
Эҷоди объекти ҳаракаткунанда, ки аз ҳаракатҳое, ки модел таълим дода шудааст, пайравӣ мекунад. Интиқоли унсурҳои намуди зоҳирӣ аз модел ба объект (масалан, иваз кардани либос). Насли кунҷи нав (масалан, синтези тасвири профил дар асоси акси пурраи чеҳра). Ҳар се усулро якҷоя кардан мумкин аст, масалан, шумо метавонед аз аксе видеое эҷод кунед, ки иҷрои як ҳиллаи мураккаби акробатикиро дар либосҳои гуногун тақлид мекунад.

Дар ҷараёни синтез дар як вақт амалиёти интихоби объект дар сурат ва ташаккул додани элементҳои заминавӣ ҳангоми ҳаракат иҷро карда мешаванд. Модели шабакаи нейрон метавонад як маротиба омӯзонида шавад ва барои тағироти гуногун истифода шавад. Барои бор кардан дастрас моделхои тайёр, ки ба шумо имкон меди-ханд, ки асбобхоро бе тайёрии пешакй фавран истифода баред. Барои кор кардан GPU бо андозаи хотираи на камтар аз 8 ГБ лозим аст.

Баръакси усулҳои трансформатсия, ки ба трансформатсия дар асоси нуқтаҳои калидӣ, ки ҷойгиршавии баданро дар фазои дученака тавсиф мекунанд, Имперсонатор кӯшиш мекунад, ки торҳои сеченакаро бо тавсифи бадан бо истифода аз усулҳои омӯзиши мошинсозӣ синтез кунад.
Усули пешниҳодшуда имкон медиҳад, ки бо дарназардошти шакли шахсии бадан ва ҳолати кунунӣ, тақлид кардани ҳаракатҳои табиии дасту пойҳо, дасткорӣ карда шавад.

Барои нигоҳ доштани маълумоти аслӣ, аз қабили матнҳо, услуб, рангҳо ва шинохти чеҳра дар ҷараёни трансформатсия, шабакаи нейронҳои тавлидкунандаи мухолиф (GAN). Маълумот дар бораи объекти ибтидоӣ ва параметрҳои мушаххаси дақиқи он тавассути дархост гирифта мешавад шабакаи нейронҳои конволютсионӣ.

Манбаъ: opennet.ru