Прототип на интерфейс за прехвърляне на изображения от реалния свят към графичен редактор

Кирил Диане (Кирил Диане), френски художник, дизайнер, програмист и експериментатор в областта на потребителските интерфейси, опубликовал прототип на приложение ar-cutpaste, който използва технологии за добавена реалност за прехвърляне на изображения от реалния свят в графичен редактор. Програмата ви позволява да използвате мобилния си телефон, за да направите снимка на всеки реален обект от желания ъгъл, след което приложението ще премахне фона и ще остави само този обект. След това потребителят може да фокусира камерата на мобилния телефон върху екрана на компютъра, работещ с графичен редактор, да избере точка и да вмъкне обект в тази позиция.

Код сървърната част е написана в Python и мобилни приложения за платформата Android на TypeScript с применением фреймворка React Native. Для выделения объекта на снимке и очистки фона прилага библиотека за машинно обучение BASNet, използвайки PyTorch и torchvision. За да определите точката на екрана, към която е била насочена камерата на телефона, когато сте поставили обект, употребяван OpenCV пакет и клас ПРЕСЕЕТЕ. За да взаимодейства с графичния редактор, в системата се стартира прост сървърен манипулатор, който предава картина за вмъкване в определени координати X и Y на екрана (в момента се поддържа само протоколът за дистанционно управление на Photoshop и поддръжката за други графични редактори е обещано да бъде добавено в бъдеще).

Източник: opennet.ru