Koda vekirina ji bo senteza anîmasyonê bi karanîna torên neuralî

Komek lêkolîner ji Zanîngeha Teknîkî ya Shanghai weşandin tools Impersonator, ku dihêle ku rêbazên fêrbûna makîneyê bikar bînin da ku tevgerên mirovan bi karanîna wêneyên statîk simule bikin, û her weha kincan biguhezînin, wan veguhezînin hawîrdorek din û goşeya ku jê tê xuyang kirin biguhezînin. Kod di Python de hatiye nivîsandin
çarçoveyek bikar tînin PyTorch. Meclîs jî hewce dike torchvision û CUDA Toolkit.

Koda vekirina ji bo senteza anîmasyonê bi karanîna torên neuralî

Amûrek wêneyek du-alî wekî têketinê distîne û li ser bingeha modela hilbijartî encamek guhertî sentez dike. Sê vebijarkên veguherînê têne piştgirî kirin:
Afirandina heyberek tevgerê ku tevgerên ku model li ser hatine perwerde kirin dişopîne. Veguheztina hêmanên xuyangê ji modelek ber bi tiştekê ve (mînakî, guheztina cilê). Hilberîna goşeyek nû (mînakî, senteza wêneyek profîlê ku li ser bingeha wêneyek tev-rû ye). Her sê rêbaz dikarin bêne hev kirin, mînakî, hûn dikarin vîdyoyek ji fotografek çêbikin ku performansa xelekek akrobatîk a tevlihev di cilên cûda de simule dike.

Di pêvajoya sentezê de, operasyonên hilbijartina tiştekê di wêneyekê de û avakirina hêmanên paşerojê yên winda dema ku diçin bi hevdemî têne kirin. Modela tora neuralî dikare carekê were perwerde kirin û ji bo veguherînên cihêreng were bikar anîn. Ji bo barkirinê berdeste modelên amade yên ku dihêle hûn tavilê amûran bêyî perwerdehiya pêşîn bikar bînin. Ji bo xebitandinê GPU-ya bi mezinahiya bîranîna herî kêm 8 GB hewce ye.

Berevajî rêbazên veguherînê yên li ser veguheztinê ji hêla xalên sereke ve ku cîhê laş di cîhê du-alî de vedibêjin, Impersonator hewl dide ku tevnek sê-alî bi ravekirina laş re bi karanîna rêbazên fêrbûna makîneyê re sentez bike.
Rêbaza pêşniyarkirî destûrê dide manîpulasyonên ku şeklê laşê kesane û pozîsyona heyî li ber çavan digirin, tevgerên xwezayî yên lingan simul dikin.

Koda vekirina ji bo senteza anîmasyonê bi karanîna torên neuralî

Ji bo parastina agahdariya orjînal ên wekî tevn, şêwaz, reng û naskirina rû di dema pêvajoya veguherînê de, tora neuralî ya dijber a hilberîner (Liquid Warping GAN). Agahdariya li ser çavkaniya çavkaniyê û pîvanên ji bo nasnameya wê ya rastîn bi serîlêdanê têne derxistin tora neuralî ya convolutional.


Source: opennet.ru

Add a comment