Прототип інтерфейсу для перенесення зображень із реального світу до графічного редактора

Сиріль Діань (Кирило Діань), французький художник, дизайнер, програміст та експериментатор в галузі інтерфейсів взаємодії з користувачем, опублікував прототип програми ar-cutpaste, що використовує технології доповненої реальності для перенесення зображень із реального світу до графічного редактора. Програма дозволяє за допомогою мобільного телефону зробити знімок будь-якого реального об'єкта з потрібним ракурсом, після чого програма прибере фон і залишить лише цей об'єкт. Далі користувач може навести фокус камери мобільного телефону на екран комп'ютера із запущеним графічним редактором, вибрати точку та вставити об'єкт у цю позицію.

Прототип інтерфейсу для перенесення зображень із реального світу до графічного редактора

Код серверної частини написано мовою Python, а мобільний додаток для платформи Android на TypeScript із застосуванням фреймворку React Native. Для виділення об'єкта на знімку та очищення фону застосовується бібліотека машинного навчання BASNet, що використовує PyTorch та torchvision. Для визначення точки на екрані, на яку була спрямована камера телефону при вставці об'єкта, використовується пакет OpenCV та клас SIFT. Для взаємодії з графічним редактором на системі запускається простий серверний обробник, який передає картинку для вставки за певними координатами X та Y на екрані (нині підтримується лише протокол віддаленого керування Photoshop, а підтримку інших графічних редакторів обіцяють додати у майбутньому).

Джерело: opennet.ru

Додати коментар або відгук