Прототипи интерфейс барои интиқоли тасвирҳо аз ҷаҳони воқеӣ ба муҳаррири графикӣ

Сириль Диань (Сирил Дьян), французский художник, дизайнер, программист и экспериментатор в области интерфейсов взаимодействия с пользователем, нашр прототип приложения ar-cutpaste, использующего технологии дополненной реальности для переноса изображений из реального мира в графический редактор. Программа позволяет при помощи мобильного телефона сделать снимок любого реального объекта с нужным ракурсом, после чего приложение уберёт фон и оставит только этот объект. Далее пользователь может навести фокус камеры мобильного телефона на экран компьютера с запущенным графическим редактором, выбрать точку и вставить объект в эту позицию.

Прототипи интерфейс барои интиқоли тасвирҳо аз ҷаҳони воқеӣ ба муҳаррири графикӣ

рамз серверной части написан на языке Python, а барнома мобилӣ для платформы Android на TypeScript с применением фреймворка React Native. Для выделения объекта на снимке и очистки фона татбиқ карда мешавад библиотека машинного обучения BASNet, использующая PyTorch и torchvision. Для определения точки на экране, на которую была нацелена камера телефона при вставке объекта, истифода бурда мешавад пакет OpenCV и класс SIFT. Для взаимодействия с графическим редактором на системе запускается простой серверный обработчик, который передаёт картинку для вставки по определённым координатам X и Y на экране (в настоящее время поддерживается только протокол удалённого управления Photoshop, а поддержку других графических редакторов обещают добавить в будущем).

Манбаъ: opennet.ru

Илова Эзоҳ