Pētnieku grupa no Šanhajas Tehniskās universitātes instrumenti , kas ļauj ar mašīnmācīšanās metodēm simulēt cilvēku kustības, izmantojot statiskus attēlus, kā arī nomainīt apģērbu, pārnest to uz citu vidi un mainīt leņķi, no kura objekts ir redzams. Kods ir rakstīts Python valodā
izmantojot ietvaru . Nepieciešama arī montāža un CUDA Toolkit.
Rīku komplekts saņem divdimensiju attēlu kā ievadi un sintezē modificētu rezultātu, pamatojoties uz atlasīto modeli. Tiek atbalstītas trīs pārveidošanas iespējas:
Kustīga objekta izveidošana, kas seko kustībām, uz kurām modelis tika apmācīts. Izskata elementu pārnešana no modeļa uz objektu (piemēram, apģērba maiņa). Jauna leņķa ģenerēšana (piemēram, profila attēla sintēze, pamatojoties uz pilnas sejas fotoattēlu). Visas trīs metodes var apvienot, piemēram, no fotogrāfijas var ģenerēt video, kas simulē sarežģīta akrobātiskā trika izpildi dažādās drēbēs.
Sintēzes procesā vienlaikus tiek veiktas fotogrāfijas objekta atlases un iztrūkstošo fona elementu veidošanas operācijas, pārvietojoties. Neironu tīkla modeli var apmācīt vienu reizi un izmantot dažādām transformācijām. Iekraušanai gatavi modeļi, kas ļauj nekavējoties izmantot rīkus bez iepriekšējas apmācības. Lai darbotos, ir nepieciešams GPU ar vismaz 8 GB atmiņas lielumu.
Atšķirībā no transformācijas metodēm, kuru pamatā ir transformācija pēc galvenajiem punktiem, kas apraksta ķermeņa atrašanās vietu divdimensiju telpā, Impersonator mēģina sintezēt trīsdimensiju sietu ar ķermeņa aprakstu, izmantojot mašīnmācīšanās metodes.
Piedāvātā metode ļauj veikt manipulācijas, ņemot vērā personalizēto ķermeņa formu un pašreizējo stāju, imitējot dabiskās ekstremitāšu kustības.
Lai transformācijas procesa laikā saglabātu sākotnējo informāciju, piemēram, tekstūras, stilu, krāsas un sejas atpazīšanu, (). Informācija par avota objektu un parametri tā precīzai identificēšanai tiek iegūta, izmantojot .
Avots: opennet.ru