Hap kodin për sintezën e animacionit duke përdorur rrjetet nervore

Një grup studiuesish nga Universiteti Teknik i Shangait botuar mjetet imitues, i cili lejon përdorimin e metodave të mësimit të makinerive për të simuluar lëvizjet e njerëzve duke përdorur imazhe statike, si dhe zëvendësimin e rrobave, transferimin e tyre në një mjedis tjetër dhe ndryshimin e këndit nga i cili një objekt është i dukshëm. Kodi është shkruar në Python
duke përdorur një kornizë PyTorch. Asambleja gjithashtu kërkon pishtari dhe CUDA Toolkit.

Paketa e veglave merr një imazh dy-dimensionale si hyrje dhe sintetizon një rezultat të modifikuar bazuar në modelin e zgjedhur. Mbështeten tre opsione transformimi:
Krijimi i një objekti lëvizës që ndjek lëvizjet në të cilat modeli është trajnuar. Transferimi i elementeve të pamjes nga një model në një objekt (për shembull, një ndryshim i veshjes). Gjenerimi i një këndi të ri (për shembull, sinteza e një imazhi të profilit bazuar në një fotografi me fytyrë të plotë). Të tre metodat mund të kombinohen, për shembull, mund të gjeneroni një video nga një fotografi që simulon performancën e një mashtrimi kompleks akrobatik në rroba të ndryshme.

Gjatë procesit të sintezës, operacionet e zgjedhjes së një objekti në një fotografi dhe formimi i elementeve të sfondit që mungojnë gjatë lëvizjes kryhen njëkohësisht. Modeli i rrjetit nervor mund të trajnohet një herë dhe të përdoret për transformime të ndryshme. Për ngarkim në dispozicion modele të gatshme që ju lejojnë të përdorni menjëherë mjetet pa trajnim paraprak. Kërkohet një GPU me një madhësi memorie prej të paktën 8 GB për të funksionuar.

Ndryshe nga metodat e transformimit të bazuara në transformimin nga pikat kyçe që përshkruajnë vendndodhjen e trupit në hapësirën dy-dimensionale, Impersonator përpiqet të sintetizojë një rrjetë tredimensionale me një përshkrim të trupit duke përdorur metoda të mësimit të makinës.
Metoda e propozuar lejon manipulime duke marrë parasysh formën e personalizuar të trupit dhe qëndrimin aktual, duke simuluar lëvizjet natyrale të gjymtyrëve.

Për të ruajtur informacionin origjinal si teksturat, stilin, ngjyrat dhe njohjen e fytyrës gjatë procesit të transformimit, rrjet nervor kundërshtar gjenerues (Liquid Warping GAN). Informacioni rreth objektit burimor dhe parametrat për identifikimin e saktë të tij nxirren duke aplikuar rrjeti nervor konvolucional.

Burimi: opennet.ru