Nguyên mẫu giao diện để chuyển hình ảnh từ thế giới thực sang trình chỉnh sửa đồ họa

Сириль Диань (Cyril Diagne), французский художник, дизайнер, программист и экспериментатор в области интерфейсов взаимодействия с пользователем, công bố прототип приложения ar-cutpaste, использующего технологии дополненной реальности для переноса изображений из реального мира в графический редактор. Программа позволяет при помощи мобильного телефона сделать снимок любого реального объекта с нужным ракурсом, после чего приложение уберёт фон и оставит только этот объект. Далее пользователь может навести фокус камеры мобильного телефона на экран компьютера с запущенным графическим редактором, выбрать точку и вставить объект в эту позицию.

mã серверной части написан на языке Python, а ứng dụng di động для платформы Android на TypeScript с применением фреймворка React Native. Для выделения объекта на снимке и очистки фона đã áp dụng библиотека машинного обучения CƠ SỞ, использующая PyTorch и torchvision. Для определения точки на экране, на которую была нацелена камера телефона при вставке объекта, được sử dụng пакет OpenCV и класс SIFT. Для взаимодействия с графическим редактором на системе запускается простой серверный обработчик, который передаёт картинку для вставки по определённым координатам X и Y на экране (в настоящее время поддерживается только протокол удалённого управления Photoshop, а поддержку других графических редакторов обещают добавить в будущем).

Nguồn: opennet.ru