Prototyp interfejsu do przenoszenia obrazów ze świata rzeczywistego do edytora graficznego

Cyryl Diagne (Cyryl Diagne), francuski artysta, projektant, programista i eksperymentator w dziedzinie interfejsów użytkownika, opublikowany prototyp aplikacji ar-cutpaste, który wykorzystuje technologie rzeczywistości rozszerzonej do przesyłania obrazów ze świata rzeczywistego do edytora graficznego. Program pozwala za pomocą telefonu komórkowego zrobić zdjęcie dowolnego rzeczywistego obiektu pod żądanym kątem, po czym aplikacja usunie tło i pozostawi tylko ten obiekt. Następnie użytkownik może ustawić ostrość aparatu telefonu komórkowego na ekranie komputera z uruchomionym edytorem graficznym, wybrać punkt i wstawić w tym miejscu obiekt.

Prototyp interfejsu do przenoszenia obrazów ze świata rzeczywistego do edytora graficznego

kod część serwerowa jest napisana w Pythonie i aplikacje mobilne dla platformy Android przy użyciu TypeScriptu i frameworku React Native. Aby wyróżnić obiekt na zdjęciu i wyczyścić tło stosowany biblioteka uczenia maszynowego BASNet, używając PyTorch i torchvision. Aby określić punkt na ekranie, na który był skierowany aparat telefonu po włożeniu obiektu, używany Pakiet i klasa OpenCV SIFT. Aby współdziałać z edytorem graficznym, w systemie uruchamiany jest prosty moduł obsługi serwera, który przesyła obraz do wstawienia na ekranie pod określonymi współrzędnymi X i Y (obecnie obsługiwany jest tylko protokół zdalnego sterowania Photoshopem, a obsługa innych edytorów graficznych jest obiecał zostać dodany w przyszłości).

Źródło: opennet.ru

Dodaj komentarz