Kode i hapur për sinkronizimin e animacioneve me ndihmën e rrjeteve nevrale

Një grup hulumtuesish nga Universiteti Teknik i Shangait publikoi mjet Imituesi, i cili përmes metodave të mësimit të makinës simuler lëvizjet e njerëzve në imazhe statike, si dhe zëvendëson veshjet, i transferon në një ndërlikim tjetër dhe ndryshon këndin nga i cili objekti është i dukshëm. Kodi është shkruar në gjuhën Python
duke përdorur framework-un PyTorch. Gjithashtu nevojitet torchvision dhe CUDA Toolkit.

Instrumenti merr si input një imazh dy-dimensional dhe sintetizon rezultatin e ndryshuar mbi bazën e modelit të zgjedhur. Mbështeten tre variante të transformimeve:
Krijimi i një objekti në lëvizje që përsërit lëvizjet për të cilat është trajnuar modeli. Transferimi i elementeve të pamjes nga modeli në objekt (për shembull, ndryshimi i veshjeve). Gjenerimi i një këndi të ri (për shembull, sintetizimi i imazhit nga profili mbi bazën e një fotografie nga përpara). Të tri metodat mund të kombinohen, për shembull, mund të gjeneroni një video nga fotografia që imiton ekzekutimin e një truku akrobatik të vështirë në një veshje tjetër.

Gjatë procesit të sintezës, kryhen njëkohësisht operacione për ndarjen e objekteve në fotografi dhe formimin e elementeve të munguar të sfondit gjatë lëvizjes. Modeli për rrjetin nervor mund të trajnohet një herë dhe të përdoret për transformime të ndryshme. Për ngarkimin e të disponueshme modeleve të gatshme, të cilat lejojnë përdorimin e mjeteve menjëherë, pa një trajnim të mëparshëm. Përdorimi kërkon një GPU me një madhësi memorie prej të paktën 8GB.

Ndryshe nga metodologjitë e transformimit që bazohen në transformimin sipas pikave kyçe që përshkruajnë pozicionin e trupit në hapësirën dy-dimensionale, në Impersonator është bërë një përpjekje për sintezën e një rrjete tre-dimensionale (mesh) me përshkrimin e trupit, duke përdorur metoda të mësimit të makinerive.
Metoda e propozuar lejon manipulime që marrin parasysh formën e personalizuar të trupit dhe pozën aktuale, duke simuluar lëvizjet natyrale të ekstremiteteve.

Për të ruajtur informacionin origjinal, si tekstura, stili, ngjyrat dhe njohja e fytyrës, gjatë procesit të transformimit aplikohet rrjeti nervor generativ dhe konkurrues (Liquid Warping GAN). Informacioni mbi objektin burimor dhe parametrat për identifikimin e saktë të tij nxirren duke aplikuar rrjetin nervor konvolucional.

Burimi: opennet.ru