Còd fosgailte airson synthesis beothalachd a’ cleachdadh lìonraidhean neural

Buidheann de luchd-rannsachaidh bho Oilthigh Teicnigeach Shanghai foillsichte innealan Neach-aithris, a leigeas le bhith a’ cleachdadh dhòighean ionnsachaidh inneal gus gluasadan dhaoine a shamhlachadh a’ cleachdadh ìomhaighean statach, a bharrachd air aodach a chuir an àite, an gluasad gu àrainneachd eile agus an ceàrn bhon bheil nì ri fhaicinn atharrachadh. Tha an còd sgrìobhte ann am Python
a’ cleachdadh frèam PyTorch. Feumaidh co-chruinneachadh cuideachd sealladh lòchrain agus CUDA Toolkit.

Bidh an inneal a’ faighinn ìomhaigh dà-mheudach mar chur-a-steach agus a’ co-chur toradh atharraichte stèidhichte air a’ mhodail a chaidh a thaghadh. Tha trì roghainnean cruth-atharrachaidh a’ faighinn taic:
A 'cruthachadh rud gluasadach a tha a' leantainn nan gluasadan air an deach am modail a thrèanadh. A 'gluasad eileamaidean de choltas bho mhodail gu rud (mar eisimpleir, atharrachadh aodaich). Gineadh ceàrn ùr (mar eisimpleir, synthesis de ìomhaigh ìomhaigh stèidhichte air dealbh làn-aghaidh). Faodar na trì dòighean a chur còmhla, mar eisimpleir, faodaidh tu bhidio a ghineadh bho dhealbh a tha coltach ri coileanadh cleas acrobatic iom-fhillte ann an diofar aodach.

Tron phròiseas synthesis, thathas a’ coileanadh obair taghadh nì ann an dealbh agus cruthachadh na h-eileamaidean cùl-fhiosrachaidh a tha a dhìth nuair a bhios iad a’ gluasad. Faodar am modal lìonra neural a thrèanadh aon uair agus a chleachdadh airson diofar chruth-atharrachaidhean. Airson luchdachadh ri fhaighinn modalan deiseil a leigeas leat na h-innealan a chleachdadh sa bhad gun trèanadh tòiseachaidh. Tha feum air GPU le meud cuimhne co-dhiù 8GB airson obrachadh.

Eu-coltach ri modhan cruth-atharrachaidh stèidhichte air cruth-atharrachadh le prìomh phuingean a 'toirt cunntas air suidheachadh a' chuirp ann an àite dà-thaobhach, bidh Impersonator a 'feuchainn ri mogal trì-thaobhach a cho-chur le tuairisgeul air a' bhodhaig a 'cleachdadh dhòighean ionnsachaidh innealan.
Tha an dòigh a thathar a’ moladh a’ ceadachadh làimhseachadh a’ toirt aire do chumadh pearsanaichte bodhaig agus suidheachadh gnàthach, a’ dèanamh atharrais air gluasadan nàdarra nan buill-bodhaig.

Gus fiosrachadh tùsail leithid inneach, stoidhle, dathan agus aithne aghaidh a ghleidheadh ​​​​tron ​​phròiseas cruth-atharrachaidh, lìonra neural naimhdeil ginealach (Liquid Warping GAN). Bithear a’ toirt a-mach fiosrachadh mun nì stòr agus na crìochan airson a chomharrachadh mionaideach le bhith a’ cur a-steach lìonra neural convolutional.

Source: fosgailtenet.ru