Прототип интерфейса для переноса изображений из реального мира в графический редактор

Сириль Диань (Cyril Diagne), французский художник, дизайнер, программист и экспериментатор в области интерфейсов взаимодействия с пользователем, опубликовал прототип приложения ar-cutpaste, использующего технологии дополненной реальности для переноса изображений из реального мира в графический редактор. Программа позволяет при помощи мобильного телефона сделать снимок любого реального объекта с нужным ракурсом, после чего приложение уберёт фон и оставит только этот объект. Далее пользователь может навести фокус камеры мобильного телефона на экран компьютера с запущенным графическим редактором, выбрать точку и вставить объект в эту позицию.

Код серверной части написан на языке Python, а мобильного приложения для платформы Android на TypeScript с применением фреймворка React Native. Для выделения объекта на снимке и очистки фона применяется библиотека машинного обучения BASNet, использующая PyTorch и torchvision. Для определения точки на экране, на которую была нацелена камера телефона при вставке объекта, используется пакет OpenCV и класс SIFT. Для взаимодействия с графическим редактором на системе запускается простой серверный обработчик, который передаёт картинку для вставки по определённым координатам X и Y на экране (в настоящее время поддерживается только протокол удалённого управления Photoshop, а поддержку других графических редакторов обещают добавить в будущем).

Источник: opennet.ru