ProHoster > Blog > nûçeyên înternetê > Prototîpa navbeynê ji bo veguheztina wêneyan ji cîhana rastîn berbi edîtorek grafîkê
Prototîpa navbeynê ji bo veguheztina wêneyan ji cîhana rastîn berbi edîtorek grafîkê
Сириль Диань (Cyril Diagne), французский художник, дизайнер, программист и экспериментатор в области интерфейсов взаимодействия с пользователем, weşandin прототип приложения ar-cutpaste, использующего технологии дополненной реальности для переноса изображений из реального мира в графический редактор. Программа позволяет при помощи мобильного телефона сделать снимок любого реального объекта с нужным ракурсом, после чего приложение уберёт фон и оставит только этот объект. Далее пользователь может навести фокус камеры мобильного телефона на экран компьютера с запущенным графическим редактором, выбрать точку и вставить объект в эту позицию.
code серверной части написан на языке Python, а sepana mobîl для платформы Android на TypeScript с применением фреймворка React Native. Для выделения объекта на снимке и очистки фона sepandin библиотека машинного обучения BASNet, использующая PyTorch и torchvision. Для определения точки на экране, на которую была нацелена камера телефона при вставке объекта, bikar anîn ji hêla пакет OpenCV и класс HEFT. Для взаимодействия с графическим редактором на системе запускается простой серверный обработчик, который передаёт картинку для вставки по определённым координатам X и Y на экране (в настоящее время поддерживается только протокол удалённого управления Photoshop, а поддержку других графических редакторов обещают добавить в будущем).