Neyron şəbəkələrdən istifadə edərək animasiya sintezi üçün açıq kod

Şanxay Texniki Universitetinin bir qrup tədqiqatçısı nəşr olundu alətlər Təqsirləndirici, bu, statik təsvirlərdən istifadə edərək insanların hərəkətlərini simulyasiya etmək, həmçinin paltarları dəyişdirmək, onları başqa mühitə köçürmək və obyektin göründüyü bucağı dəyişdirmək üçün maşın öyrənmə üsullarından istifadə etməyə imkan verir. Kod Python dilində yazılmışdır
çərçivədən istifadə etməklə PyTorch. Montaj da tələb edir məşəl görmə və CUDA Alətlər dəsti.

Neyron şəbəkələrdən istifadə edərək animasiya sintezi üçün açıq kod

Alətlər dəsti giriş kimi ikiölçülü təsviri alır və seçilmiş model əsasında dəyişdirilmiş nəticəni sintez edir. Üç transformasiya variantı dəstəklənir:
Modelin öyrədildiyi hərəkətləri izləyən hərəkət edən obyektin yaradılması. Görünüş elementlərinin modeldən obyektə köçürülməsi (məsələn, geyimin dəyişdirilməsi). Yeni bir açının yaradılması (məsələn, tam üz fotoşəkili əsasında profil şəklinin sintezi). Hər üç üsul birləşdirilə bilər, məsələn, müxtəlif geyimlərdə mürəkkəb akrobatik hiylənin icrasını simulyasiya edən bir fotoşəkildən video yarada bilərsiniz.

Sintez prosesi zamanı fotoşəkildə obyektin seçilməsi və hərəkət zamanı çatışmayan fon elementlərinin formalaşdırılması əməliyyatları eyni vaxtda yerinə yetirilir. Neyron şəbəkə modeli bir dəfə öyrədilə və müxtəlif transformasiyalar üçün istifadə edilə bilər. Yükləmək üçün mövcuddur alətləri ilkin təlim olmadan dərhal istifadə etməyə imkan verən hazır modellər. İşləmək üçün ən azı 8 GB yaddaşa malik GPU tələb olunur.

Bədənin ikiölçülü məkanda yerini təsvir edən əsas nöqtələrlə transformasiyaya əsaslanan transformasiya metodlarından fərqli olaraq, Impersonator maşın öyrənmə metodlarından istifadə edərək bədənin təsviri ilə üçölçülü şəbəkəni sintez etməyə çalışır.
Təklif olunan üsul, bədən üzvlərinin təbii hərəkətlərini simulyasiya edərək fərdi bədən formasını və hazırkı duruşunu nəzərə alaraq manipulyasiyalar etməyə imkan verir.

Neyron şəbəkələrdən istifadə edərək animasiya sintezi üçün açıq kod

Transformasiya prosesində fakturalar, üslub, rənglər və sifətin tanınması kimi orijinal məlumatları qorumaq, generativ rəqib neyron şəbəkəsi (Maye Çarpma GAN). Mənbə obyekti haqqında məlumat və onun dəqiq identifikasiyası üçün parametrlər müraciət etməklə çıxarılır konvolutional neyron şəbəkəsi.


Mənbə: opennet.ru

Добавить комментарий