En gruppe forskere fra Shanghai Technical University værktøjer , som gør det muligt at bruge maskinlæringsmetoder til at simulere folks bevægelser ved hjælp af statiske billeder, samt erstatte tøj, overføre dem til et andet miljø og ændre den vinkel, hvorfra et objekt er synligt. Koden er skrevet i Python
ved hjælp af en ramme . Samling kræver også og CUDA Toolkit.
Værktøjssættet modtager et todimensionelt billede som input og syntetiserer et ændret resultat baseret på den valgte model. Tre transformationsmuligheder understøttes:
Oprettelse af et objekt i bevægelse, der følger de bevægelser, som modellen blev trænet på. Overførsel af elementer af udseende fra en model til en genstand (for eksempel et tøjskifte). Generering af en ny vinkel (f.eks. syntese af et profilbillede baseret på et helbillede). Alle tre metoder kan kombineres, for eksempel kan du generere en video fra et fotografi, der simulerer udførelsen af et komplekst akrobatisk trick i forskelligt tøj.
Under synteseprocessen udføres operationerne med at vælge et objekt i et fotografi og danne de manglende baggrundselementer ved bevægelse samtidigt. Den neurale netværksmodel kan trænes én gang og bruges til forskellige transformationer. Til lastning færdige modeller, der giver dig mulighed for straks at bruge værktøjerne uden forudgående træning. En GPU med en hukommelsesstørrelse på mindst 8 GB er påkrævet for at fungere.
I modsætning til transformationsmetoder baseret på transformation af nøglepunkter, der beskriver kroppens placering i todimensionelt rum, forsøger Impersonator at syntetisere et tredimensionelt net med en beskrivelse af kroppen ved hjælp af maskinlæringsmetoder.
Den foreslåede metode giver mulighed for manipulationer under hensyntagen til den personlige kropsform og nuværende kropsholdning, der simulerer lemmernes naturlige bevægelser.
For at bevare original information såsom teksturer, stil, farver og ansigtsgenkendelse under transformationsprocessen, (). Information om kildeobjektet og parametre til dets præcise identifikation udtrækkes ved at anvende .
Kilde: opennet.ru