Отворен је изворни код ПИКСИЕ система машинског учења, који вам омогућава да креирате 3Д моделе и анимиране аватаре људског тела од једне фотографије. Реалистичне текстуре лица и одеће које се разликују од оних приказаних на оригиналној фотографији могу се прикачити на добијени модел. Систем се може користити, на пример, за рендеровање са друге тачке гледишта, креирање анимације, реконструкцију тела на основу облика лица и генерисање 3Д модела прстију. Код је написан у Питхон-у користећи Питорцх фрамеворк и дистрибуира се под лиценцом само за некомерцијалну употребу.
Наводи се да, у поређењу са сличним пројектима, ПИКСИЕ вам омогућава да прецизније реконструишете контуре тела, у почетку скривене одећом на фотографији, облик лица и положај зглобова руку. Метода се заснива на коришћењу неуронске мреже, која извлачи параметре лица, тела и руку из слике у пикселу. Рад неуронске мреже координира посебан контролер, који на основу анализе осветљења додаје информације о тежинским коефицијентима различитих делова тела како би се искључило откривање неприродних поза. Приликом креирања модела узимају се у обзир анатомске разлике између мушког и женског тела, параметри држања, осветљење, рефлексивност површине и ротација лица у тродимензионалној равни.
Карактеристике ПИКСИЕ:
- Реконструисани 3Д модел тела, као и информације о пози, положају руку и изразу лица, чувају се као скуп СМПЛ-Кс параметара, који се касније могу користити у систему Блендер моделирања преко додатка.
- Са фотографије се утврђују детаљни подаци о облику и изразу лица, као и његовим карактеристикама, као што је присуство бора (за израду модела главе користи се ДЕЦА систем машинског учења, који су развили исти аутори) .
- Приликом генерисања текстуре лица, процењује се албедо објекта.
- Конструисани модел тела се касније може анимирати или представити у другој пози.
- Подршка за изградњу модела од обичних фотографија особе у природним условима. ПИКСИЕ ради добар посао у откривању различитих поза, услова осветљења и ометања видљивости делова објекта.
- Високе перформансе, погодне за динамичку обраду слика камере.
Извор: опеннет.ру