Прататып інтэрфейсу для пераносу малюнкаў з рэальнага свету ў графічны рэдактар

Сірыль Дыань (Кірыл Дыян), французскі мастак, дызайнер, праграміст і эксперыментатар у галіне інтэрфейсаў узаемадзеяння з карыстальнікам, апублікаваў прататып прыкладання ar-cutpaste, які выкарыстоўвае тэхналогіі дапоўненай рэальнасці для пераносу малюнкаў з рэальнага свету ў графічны рэдактар. Праграма дазваляе пры дапамозе мабільнага тэлефона зрабіць здымак любога рэальнага аб'екта з патрэбным ракурсам, пасля чаго прыкладанне прыбярэ фон і пакіне толькі гэты аб'ект. Далей карыстач можа навесці фокус камеры мабільнага тэлефона на экран кампутара з запушчаным графічным рэдактарам, абраць кропку і ўставіць аб'ект у гэтую пазіцыю.

Прататып інтэрфейсу для пераносу малюнкаў з рэальнага свету ў графічны рэдактар

Код сервернай часткі напісаны на мове Python, а мабільнага прыкладання для платформы Android на TypeScript з ужываннем фрэймворка React Native. Для вылучэння аб'екта на здымку і ачысткі фону ўжываецца бібліятэка машыннага навучання BASNet, Якая выкарыстоўвае PyTorch і torchvision. Для вызначэння кропкі на экране, на якую была накіравана камера тэлефона пры ўстаўцы аб'екта, выкарыстоўваецца пакет OpenCV і клас SIFT. Для ўзаемадзеяння з графічным рэдактарам на сістэме запускаецца просты серверны апрацоўшчык, які перадае карцінку для ўстаўкі па пэўных каардынатах X і Y на экране (у цяперашні час падтрымліваецца толькі пратакол выдаленага кіравання Photoshop, а падтрымку іншых графічных рэдактараў абяцаюць дадаць у будучыні).

Крыніца: opennet.ru

Дадаць каментар