Kodi burimor i sistemit të mësimit të makinerisë PIXIE është hapur, duke ju lejuar të krijoni modele 3D dhe avatarë të animuar të trupit të njeriut nga një foto. Teksturat reale të fytyrës dhe veshjeve që ndryshojnë nga ato të përshkruara në fotografinë origjinale mund t'i bashkëngjiten modelit që rezulton. Sistemi mund të përdoret, për shembull, për të paraqitur nga një pikë tjetër e favorshme, për të krijuar animacion, për të rindërtuar trupin bazuar në formën e fytyrës dhe për të gjeneruar një model 3D të gishtërinjve. Kodi është shkruar në Python duke përdorur kornizën Pytorch dhe shpërndahet nën një licencë vetëm për përdorim jokomercial.
Thuhet se, krahasuar me projekte të ngjashme, PIXIE ju lejon të rikrijoni më saktë konturet e trupit, të fshehura fillimisht nga veshjet në fotografi, formën e fytyrës dhe pozicionin e nyjeve të duarve. Metoda bazohet në përdorimin e një rrjeti nervor, i cili nxjerr parametrat e fytyrës, trupit dhe duarve nga një imazh piksel. Puna e rrjetit nervor koordinohet nga një kontrollues i veçantë, i cili, bazuar në një analizë të ndriçimit, shton informacione në lidhje me koeficientët e peshimit të pjesëve të ndryshme të trupit për të përjashtuar zbulimin e pozave të panatyrshme. Kur krijoni një model, merren parasysh ndryshimet anatomike midis trupit mashkullor dhe femrës, parametrat e qëndrimit, ndriçimi, reflektimi i sipërfaqes dhe rrotullimi i fytyrës në një plan tredimensional.
Karakteristikat e PIXIE:
- Modeli i rindërtuar i trupit 3D, si dhe informacioni rreth pozës, pozicionit të dorës dhe shprehjes së fytyrës, ruhen si një grup parametrash SMPL-X, të cilat më vonë mund të përdoren në sistemin e modelimit Blender nëpërmjet një shtojce.
- Nga fotografia, përcaktohen informacione të detajuara për formën dhe shprehjen e fytyrës, si dhe veçoritë e saj, si prania e rrudhave (sistemi i mësimit të makinerive DECA, i zhvilluar nga të njëjtët autorë, përdoret për të ndërtuar një model koke) .
- Kur gjenerohet një teksturë fytyre, vlerësohet albedo e objektit.
- Modeli i ndërtuar i trupit më vonë mund të animohet ose të paraqitet në një pozë tjetër.
- Mbështetje për ndërtimin e një modeli nga fotografitë e zakonshme të një personi në kushte natyrore. PIXIE bën një punë të mirë për të zbuluar poza të ndryshme, kushte ndriçimi dhe pengon dukshmërinë e pjesëve të një objekti.
- Performancë e lartë, e përshtatshme për përpunimin dinamik të imazheve të kamerës.
Burimi: opennet.ru