Сириль Диань (), французский художник, дизайнер, программист и экспериментатор в области интерфейсов взаимодействия с пользователем, прототип приложения , использующего технологии дополненной реальности для переноса изображений из реального мира в графический редактор. Программа позволяет при помощи мобильного телефона сделать снимок любого реального объекта с нужным ракурсом, после чего приложение уберёт фон и оставит только этот объект. Далее пользователь может навести фокус камеры мобильного телефона на экран компьютера с запущенным графическим редактором, выбрать точку и вставить объект в эту позицию.
Kód на языке Python, а для платформы Android на TypeScript с применением фреймворка React Native. Для выделения объекта на снимке и очистки фона библиотека машинного обучения , использующая PyTorch и torchvision. Для определения точки на экране, на которую была нацелена камера телефона при вставке объекта, пакет OpenCV и класс . Для взаимодействия с графическим редактором на системе запускается простой серверный обработчик, который передаёт картинку для вставки по определённым координатам X и Y на экране (в настоящее время поддерживается только протокол удалённого управления Photoshop, а поддержку других графических редакторов обещают добавить в будущем).
Zdroj: opennet.ru