Kodi për sintezën e animacioneve me ndihmën e inteligjencës artificiale është hapur

Një grup studiuesish nga Universiteti Teknik i Shangait publikoi instrumentin Impersonator, i cili përdor metoda të mësimit të makinerive për të simuluar lëvizjet e njerëzve në imazhe statike, si dhe për të ndërruar rrobat, transferuar në një ambient tjetër dhe ndryshuar këndin nga i cili shihet objekti. Kodi është shkruar në gjuhën Python
duke përdorur kuadri PyTorch. Për ndërtimin gjithashtu nevojitet torchvision dhe CUDA Toolkit.

Instrumenti merr në input një imazh dy dimensionale dhe sintetizon rezultatin e ndryshuar bazuar në modelin e zgjedhur. Mbështeten tre opsione transformimesh:
Krijimi i një objekti në lëvizje, që përcjell lëvizjet mbi të cilat është trajnuar modeli. Transferimi i elementeve të pamjes nga modeli në objekt (p.sh., ndërrimi i rrobave). Gjenerimi i një këndi të ri (p.sh., sinteza e një imazhi në profil bazuar në një fotografi përballë). Të gjitha tre metodat mund të kombinohen, për shembull, mund të gjenerohet një video nga fotografia, që imiton ekzekutimin e një truku akrobatik të vështirë në rroba të tjera.

Gjatë procesit të sintezës realizohen gjithashtu operacione për shpërndarjen e objektit në fotografi dhe formimin e elementeve të munguara të sfondit gjatë lëvizjes. Modeli për rrjetin nervor mund të trajnohet një herë dhe të përdoret për transformime të ndryshme. Për shkarkimin janë në dispozicion modelet e gatshme, që lejojnë përdorimin e menjëhershëm të instrumentit pa pasur nevojë për trajnim paraprak. Për funksionimin kërkohet një GPU me një madhësi memorjeje prej të paktën 8GB.

Ndryshe nga metodat e transformimit, të bazuara në transformimin përmes pikave kyç, që përshkruajnë pozicionin e trupit në hapësirën dy dimensionale, në Impersonator është bërë një përpjekje për sintezën e një rrjete tre dimensionale (mesh) me përshkrimin e trupit, duke përdorur metoda të mësimit të makinerive.
Metoda e propozuar lejon manipulime me llogaritjen e formës së personalizuar të trupit dhe pozës aktuale, duke modeluar lëvizjet natyrore të ekstremiteteve.

Për ruajtjen e informacionit origjinal, si teksturat, stili, ngjyrat dhe njohja e fytyrës, gjatë procesit të transformimit aplikohet rrjeti nervor konkurrues generativ (Liquid Warping GAN). Informacioni mbi objektin origjinal dhe parametrat për identifikimin e tij të saktë nxirren duke aplikuar rrjetin nervor konvolucional.

Burimi: opennet.ru