Louvri kòd pou sentèz animasyon lè l sèvi avèk rezo neral

Yon gwoup chèchè nan Shanghai Technical University pibliye zouti Imitateur, ki pèmèt itilize metòd aprantisaj machin pou simulation mouvman moun lè l sèvi avèk imaj estatik, osi byen ke ranplase rad, transfere yo nan yon lòt anviwònman ak chanje ang ki soti nan ki yon objè vizib. Kòd la ekri nan Python
lè l sèvi avèk yon kad PyTorch. Asanble mande tou torchvision ak CUDA Toolkit.

Louvri kòd pou sentèz animasyon lè l sèvi avèk rezo neral

Toolkit la resevwa yon imaj ki genyen de dimansyon kòm opinyon epi sentèz yon rezilta modifye ki baze sou modèl yo chwazi a. Twa opsyon transfòmasyon yo sipòte:
Kreye yon objè k ap deplase ki swiv mouvman yo sou ki modèl la te fòme. Transfere eleman nan aparans soti nan yon modèl nan yon objè (pa egzanp, yon chanjman nan rad). Jenerasyon yon nouvo ang (pa egzanp, sentèz yon imaj pwofil ki baze sou yon foto plen figi). Tout twa metòd yo ka konbine, pou egzanp, ou ka jenere yon videyo ki soti nan yon foto ki simulation pèfòmans nan yon Trick Acrobatic konplèks nan rad diferan.

Pandan pwosesis sentèz la, operasyon yo nan chwazi yon objè nan yon foto ak fòme eleman yo background ki manke yo lè deplase yo ansanm fèt. Modèl rezo neral la ka fòme yon fwa epi itilize pou divès transfòmasyon. Pou chaje disponib modèl pare-fè ki pèmèt ou imedyatman itilize zouti yo san fòmasyon preliminè. Yon GPU ki gen yon gwosè memwa omwen 8GB oblije opere.

Kontrèman ak metòd transfòmasyon ki baze sou transfòmasyon pa pwen kle ki dekri kote kò a nan espas ki genyen de dimansyon, Impersonator eseye fè sentèz yon may ki genyen twa dimansyon ak yon deskripsyon kò a lè l sèvi avèk metòd aprantisaj machin.
Metòd yo pwopoze a pèmèt manipilasyon pran an kont fòm kò pèsonalize ak pwèstans aktyèl la, similye mouvman natirèl manm yo.

Louvri kòd pou sentèz animasyon lè l sèvi avèk rezo neral

Pou konsève enfòmasyon orijinal tankou teksti, style, koulè ak rekonesans feminen pandan pwosesis transfòmasyon an, rezo neral jeneratif opoze (Likid Warping GAN). Enfòmasyon sou objè sous la ak paramèt pou idantifikasyon egzak li yo ekstrè lè w aplike rezo neral konvolusyonèl.


Sous: opennet.ru

Add nouvo kòmantè