Teksty źródłowe systemu uczenia maszynowego PIXIE, który umożliwia tworzenie modeli 3D i animowanych awatarów ludzkiego ciała z jednego zdjęcia, są otwarte. Do powstałego modelu można dołączyć realistyczne tekstury twarzy i ubrań, które różnią się od tych przedstawionych na oryginalnym zdjęciu. Za pomocą systemu można np. rysować z innego punktu widzenia, tworzyć animacje, rekonstruować ciało zgodnie z kształtem twarzy czy tworzyć trójwymiarowy model palców. Kod jest napisany w Pythonie przy użyciu frameworka Pytorch i rozpowszechniany na licencji, która pozwala tylko na niekomercyjny użytek.
Stwierdzono, że w porównaniu z podobnymi projektami PIXIE pozwala na dokładniejsze odtworzenie konturów ciała, pierwotnie ukrytych na fotografii pod ubraniem, kształtu twarzy oraz ułożenia stawów dłoni. Metoda opiera się na wykorzystaniu sieci neuronowej, która wyodrębnia parametry twarzy, ciała i dłoni z obrazu w pikselach. Pracę sieci neuronowej koordynuje specjalny regulator, który na podstawie analizy oświetlenia dodaje informacje o współczynnikach wagowych poszczególnych części ciała, aby wyeliminować definicje nienaturalnych póz. Podczas tworzenia modelu brane są pod uwagę różnice anatomiczne między męskim i kobiecym ciałem, parametry pozy, oświetlenie, współczynnik odbicia powierzchni oraz obrót twarzy w płaszczyźnie trójwymiarowej.
Funkcje PIXIE:
- Zrekonstruowany model 3D ciała, a także informacje o pozie, ułożeniu dłoni i mimice twarzy są zapisywane jako zestaw parametrów SMPL-X, które później można wykorzystać w systemie modelowania Blender poprzez wtyczkę.
- Ze zdjęcia ustalane są szczegółowe informacje o kształcie i wyrazie twarzy, a także jej cechach, takich jak obecność zmarszczek (do budowy modelu głowy wykorzystywany jest opracowany przez tych samych autorów system uczenia maszynowego DECA).
- Podczas generowania tekstury twarzy szacowane jest albedo obiektu.
- Skonstruowany model ciała można później animować lub przedstawić w innej pozie.
- Wsparcie budowy makiety ze zwykłych fotografii, na których osoba jest sfotografowana w warunkach naturalnych. PIXIE dobrze radzi sobie z definiowaniem różnych pozycji, warunków oświetlenia i nakładania się widoczności części obiektu.
- Wysoka wydajność, odpowiednia do dynamicznego przetwarzania obrazu z kamery.
Źródło: opennet.ru