De Quellcode vum PIXIE Maschinnléieresystem gouf opgemaach, wat Iech erlaabt 3D Modeller an animéiert Avataren vum mënschleche Kierper aus enger Foto ze kreéieren. Realistesch Gesiichts- a Kleedungstexturen, déi ënnerscheeden vun deenen, déi an der ursprénglecher Foto duergestallt sinn, kënnen un de resultéierende Modell befestegt ginn. De System kann zum Beispill benotzt ginn fir aus engem anere Standpunkt ze renderen, Animatioun ze kreéieren, de Kierper op Basis vun der Gesiichtsform ze rekonstruéieren an en 3D Modell vun de Fanger ze generéieren. De Code gëtt am Python mam Pytorch Kader geschriwwe a gëtt ënner enger net-kommerziell Notzung nëmmen Lizenz verdeelt.
Et gëtt festgestallt, datt am Verglach mat ähnlechen Projeten, PIXIE erlaabt Iech d'Konturen vum Kierper méi präzis ze kreéieren, am Ufank verstoppt duerch d'Kleeder an der Foto, d'Form vum Gesiicht an d'Positioun vun de Gelenker vun den Hänn. D'Method baséiert op der Notzung vun engem neuralen Netzwierk, deen d'Parameter vum Gesiicht, Kierper an Hänn aus engem Pixelbild extrahéiert. D'Aarbecht vum neuralen Netzwierk gëtt vun engem speziellen Controller koordinéiert, deen op Basis vun enger Analyse vun der Beliichtung Informatioun iwwer d'Gewiichtskoeffizienten vu verschiddenen Deeler vum Kierper bäidréit fir d'Detektioun vun onnatierlechen Posen auszeschléissen. Wann Dir e Modell erstellt, ginn déi anatomesch Differenzen tëscht dem männlechen a weiblechen Kierper, Haltungsparameter, Beliichtung, Uewerflächereflektivitéit a Rotatioun vum Gesiicht an engem dreidimensionalen Plang berücksichtegt.
Features vu PIXIE:
- De rekonstruéierten 3D Kierpermodell, souwéi Informatioun iwwer Pose, Handpositioun a Gesiichtsausdrock, gëtt als Set vu SMPL-X Parameteren gespäichert, déi spéider am Blender Modelléierungssystem iwwer e Plugin benotzt kënne ginn.
- Vun der Foto gëtt detailléiert Informatioun iwwer d'Form an d'Ausdrock vum Gesiicht festgeluegt, souwéi seng Funktiounen, wéi d'Präsenz vu Falten (den DECA Maschinnléieresystem, entwéckelt vun de selwechten Auteuren, gëtt benotzt fir e Kappmodell ze bauen) .
- Wann Dir eng Gesiichtstextur generéiert, gëtt den Albedo vum Objet geschätzt.
- De gebaute Kierpermodell kann spéider animéiert oder an enger anerer Pose presentéiert ginn.
- Ënnerstëtzung fir e Modell ze bauen aus gewéinleche Fotoe vun enger Persoun an natierleche Bedingungen. PIXIE mécht eng gutt Aarbecht fir verschidde Posen, Beliichtungsbedéngungen z'entdecken an d'Visibilitéit vun Deeler vun engem Objet ze blockéieren.
- Héich Leeschtung, gëeegent fir dynamesch Veraarbechtung vun Kamera Biller.
Source: opennet.ru