Open Code fir Animatiounssynthese mat neuralen Netzwierker

Eng Grupp vu Fuerscher vun der Shanghai Technescher Universitéit publizéiert Tools Impersonator, wat et erlaabt d'Maschinn Léiermethoden ze benotzen fir d'Bewegungen vun de Leit mat statesche Biller ze simuléieren, wéi och Kleeder ze ersetzen, se an en anert Ëmfeld ze transferéieren an de Wénkel z'änneren, aus deem en Objet sichtbar ass. De Code ass am Python geschriwwen
mat engem Kader PyTorch. Assemblée verlaangt och fakkelvision an CUDA Toolkit.

Den Toolkit kritt en zweedimensional Bild als Input a synthetiséiert e geännert Resultat baséiert op dem gewielte Modell. Dräi Transformatiounsoptioune ginn ënnerstëtzt:
E bewegt Objet erstellen deen d'Beweegunge follegt op deenen de Modell trainéiert gouf. Iwwerdroung vun Elementer vum Erscheinungsbild vun engem Modell op en Objet (zum Beispill e Kleedungswiessel). Generatioun vun engem neie Wénkel (zum Beispill, Synthese vun engem Profilbild baséiert op engem voll-Gesiicht Foto). All dräi Methoden kënnen kombinéiert ginn, zum Beispill, Dir kënnt e Video vun enger Foto generéieren déi d'Leeschtung vun engem komplexen akrobateschen Trick a verschiddene Kleeder simuléiert.

Wärend dem Syntheseprozess ginn d'Operatiounen fir en Objet an enger Foto ze wielen an déi fehlend Hannergrondelementer ze bilden beim Beweegung gläichzäiteg duerchgefouert. Den neurale Netzwierkmodell kann eemol trainéiert ginn a fir verschidde Transformatiounen benotzt ginn. Fir Luede verfügbar fäerdeg Modeller, déi Iech erlaben direkt d'Tools ouni Virausbildung ze benotzen. Eng GPU mat enger Erënnerung Gréisst vun op d'mannst 8GB ass néideg fir ze bedreiwen.

Am Géigesaz zu Transformatiounsmethoden baséiert op Transformatioun duerch Schlësselpunkten, déi de Standort vum Kierper an zweedimensionalen Raum beschreiwen, probéiert Impersonator en dreidimensionalen Mesh mat enger Beschreiwung vum Kierper mat Maschinnléieremethoden ze synthetiséieren.
Déi proposéiert Method erlaabt d'Manipulatioune berücksichtegt vun der personaliséierter Kierperform an der aktueller Haltung, simuléiert d'natierlech Beweegunge vun den Glieder.

Fir originell Informatioun wéi Texturen, Stil, Faarwen a Gesiichtserkennung während dem Transformatiounsprozess ze erhaalen, generativ adversarial neural Netzwierk (Flësseg Warping GAN). Informatioun iwwer d'Quellobjekt an d'Parameter fir seng präzis Identifikatioun ginn extrahéiert duerch Uwendung convolutional neural Netzwierk.

Source: opennet.ru