Мэдрэлийн сүлжээг ашиглан хөдөлгөөнт дүрс үүсгэх кодыг нээх

Шанхайн техникийн их сургуулийн хэсэг судлаачид Нийтлэгдсэн хэрэгсэл ДүрслэгчЭнэ нь статик дүрс ашиглан хүмүүсийн хөдөлгөөнийг дуурайх, хувцас солих, өөр орчинд шилжүүлэх, объектын харагдах өнцгийг өөрчлөх машин сургалтын аргыг ашиглах боломжийг олгодог. Код нь Python дээр бичигдсэн
хүрээ ашиглан ПиТорч. Ассемблей нь бас шаарддаг бамбар болон CUDA Toolkit.

Мэдрэлийн сүлжээг ашиглан хөдөлгөөнт дүрс үүсгэх кодыг нээх

Хэрэгслийн хэрэгсэл нь хоёр хэмжээст дүрсийг оролт болгон хүлээн авч, сонгосон загвар дээр үндэслэн өөрчлөгдсөн үр дүнг нэгтгэдэг. Гурван хувиргах сонголтыг дэмждэг:
Загварыг сургасан хөдөлгөөнийг дагаж хөдөлж буй объектыг бий болгох. Гадаад төрх байдлын элементүүдийг загвараас объект руу шилжүүлэх (жишээлбэл, хувцас солих). Шинэ өнцөг үүсгэх (жишээ нь, нүүр царайны гэрэл зураг дээр суурилсан профайлын зургийг нэгтгэх). Бүх гурван аргыг хослуулж болно, жишээлбэл, та өөр өөр хувцастай нарийн төвөгтэй акробатын трик гүйцэтгэлийг дуурайлган дүрсэлсэн гэрэл зургаас видео үүсгэж болно.

Синтезийн явцад гэрэл зураг дээрх объектыг сонгох, хөдөлж байх үед алга болсон дэвсгэр элементүүдийг бүрдүүлэх үйлдлүүд нэгэн зэрэг хийгддэг. Мэдрэлийн сүлжээний загварыг нэг удаа сургаж, янз бүрийн хувиргалтанд ашиглаж болно. Ачаалах зориулалттай боломжтой Урьдчилсан сургалтгүйгээр багаж хэрэгслийг нэн даруй ашиглах боломжийг олгодог бэлэн загварууд. Үүнд дор хаяж 8 ГБ санах ойтой GPU шаардлагатай.

Биеийн байрлалыг хоёр хэмжээст орон зайд дүрсэлсэн гол цэгүүдээр хувиргахад суурилсан хувиргах аргуудаас ялгаатай нь Impersonator нь машины сургалтын аргуудыг ашиглан биеийн дүрслэл бүхий гурван хэмжээст торыг нэгтгэхийг оролддог.
Санал болгож буй арга нь гар, мөчний байгалийн хөдөлгөөнийг дуурайлган биеийн хэлбэр, одоогийн байрлалыг харгалзан үзэх боломжийг олгодог.

Мэдрэлийн сүлжээг ашиглан хөдөлгөөнт дүрс үүсгэх кодыг нээх

Хувиргах явцад бүтэц, хэв маяг, өнгө, царай таних зэрэг анхны мэдээллийг хадгалах, үүсгэгч сөрөг мэдрэлийн сүлжээ (Liquid Warping GAN). Эх объектын тухай мэдээлэл, түүнийг нарийн тодорхойлох параметрүүдийг өргөдөл гаргах замаар гаргаж авдаг эргэлтийн мэдрэлийн сүлжээ.


Эх сурвалж: opennet.ru

сэтгэгдэл нэмэх