Zdrojové texty systému strojového učení PIXIE, který umožňuje vytvářet 3D modely a animované avatary lidského těla z jediné fotografie, jsou otevřené. Na výsledný model lze připevnit realistické textury obličeje a oblečení, které se liší od vyobrazení na originální fotografii. Systém lze použít například ke kreslení z jiného úhlu pohledu, vytváření animací, rekonstrukci těla podle tvaru obličeje a vytváření 3D modelu prstů. Kód je napsán v Pythonu pomocí frameworku Pytorch a distribuován pod licencí, která umožňuje pouze nekomerční použití.
Uvádí se, že ve srovnání s podobnými projekty vám PIXIE umožňuje přesněji znovu vytvořit obrysy těla, původně skryté oblečením na fotografii, tvar obličeje a polohu kloubů rukou. Metoda je založena na použití neuronové sítě, která extrahuje parametry obličeje, těla a ruky z pixelového obrázku. Práci neuronové sítě koordinuje speciální regulátor, který na základě analýzy osvětlení přidává informace o váhových koeficientech různých částí těla, aby eliminoval definici nepřirozených pozic. Při tvorbě modelu se berou v úvahu anatomické rozdíly mezi mužským a ženským tělem, parametry pozice, osvětlení, odrazivost povrchu a rotace obličeje v trojrozměrné rovině.
Vlastnosti PIXIE:
- Zrekonstruovaný 3D model těla, stejně jako informace o póze, poloze rukou a mimice jsou uloženy jako sada parametrů SMPL-X, které lze později prostřednictvím pluginu použít v modelovacím systému Blender.
- Z fotografie se zjišťují podrobné informace o tvaru a výrazu obličeje a také o jeho rysech, jako je přítomnost vrásek (pro stavbu modelu hlavy je použit systém strojového učení DECA vyvinutý stejnými autory).
- Při generování textury obličeje se odhadne albedo objektu.
- Vytvořený model těla lze později animovat nebo prezentovat v jiné pozici.
- Podpora stavby modelu z běžných fotografií, na kterých je člověk pořízen v přírodních podmínkách. PIXIE odvádí dobrou práci při definování různých pozic, světelných podmínek a překrývání viditelnosti částí objektu.
- Vysoký výkon, vhodný pro dynamické zpracování obrazu kamery.
Zdroj: opennet.ru
