Otvorené sú zdrojové texty systému strojového učenia PIXIE, ktorý umožňuje vytvárať 3D modely a animované avatary ľudského tela z jednej fotografie. Na výsledný model je možné nalepiť realistické textúry tváre a oblečenia, ktoré sa líšia od tých, ktoré sú vyobrazené na pôvodnej fotografii. Systém je možné použiť napríklad na kreslenie z iného uhla pohľadu, vytváranie animácií, rekonštrukciu tela podľa tvaru tváre a vytváranie 3D modelu prstov. Kód je napísaný v Pythone pomocou frameworku Pytorch a distribuovaný pod licenciou, ktorá umožňuje len nekomerčné použitie.
Uvádza sa, že v porovnaní s podobnými projektmi vám PIXIE umožňuje presnejšie obnoviť obrysy tela, pôvodne skryté oblečením na fotografii, tvar tváre a polohu kĺbov rúk. Metóda je založená na použití neurónovej siete, ktorá extrahuje parametre tváre, tela a ruky z pixelového obrazu. Prácu neurónovej siete koordinuje špeciálny regulátor, ktorý na základe analýzy osvetlenia pridáva informácie o váhových koeficientoch rôznych častí tela, aby eliminoval definíciu neprirodzených póz. Pri tvorbe modelu sa berú do úvahy anatomické rozdiely medzi mužským a ženským telom, parametre pózy, osvetlenie, odrazivosť povrchu a rotácia tváre v trojrozmernej rovine.
Vlastnosti PIXIE:
- Zrekonštruovaný 3D model tela, ako aj informácie o póze, polohe rúk a mimike sú uložené ako súbor parametrov SMPL-X, ktoré je možné neskôr použiť v modelovacom systéme Blender prostredníctvom pluginu.
- Podrobné informácie o tvare a výraze tváre, ako aj o jej črtách, ako je prítomnosť vrások, sa zisťujú z fotografie (na zostavenie modelu hlavy je použitý systém strojového učenia DECA vyvinutý rovnakými autormi).
- Pri generovaní textúry tváre sa odhaduje albedo objektu.
- Zostavený model tela môže byť neskôr animovaný alebo prezentovaný v inej póze.
- Podpora stavby modelu z bežných fotografií, na ktorých je človek odfotený v prirodzených podmienkach. PIXIE robí dobrú prácu pri definovaní rôznych pozícií, svetelných podmienok a prekrývania viditeľnosti častí objektu.
- Vysoký výkon, vhodný na dynamické spracovanie obrazu kamery.
Zdroj: opennet.ru