Prototip sučelja za prijenos slika iz stvarnog svijeta u grafički uređivač

Cyril Diagne (Cyril Diagne), francuski umetnik, dizajner, programer i eksperimentator u oblasti korisničkih interfejsa, objavljen prototip aplikacije ar-cutpaste, koji koristi tehnologije proširene stvarnosti za prijenos slika iz stvarnog svijeta u grafički uređivač. Program vam omogućava da pomoću mobilnog telefona snimite bilo koji stvarni objekat iz željenog ugla, nakon čega će aplikacija ukloniti pozadinu i ostaviti samo ovaj objekat. Zatim, korisnik može fokusirati kameru mobilnog telefona na ekran računara koji koristi grafički uređivač, odabrati tačku i umetnuti objekt na ovu poziciju.

Prototip sučelja za prijenos slika iz stvarnog svijeta u grafički uređivač

Kod serverski dio je napisan u Pythonu i mobilna aplikacija za Android platformu koristeći TypeScript koristeći React Native framework. Za isticanje subjekta na fotografiji i brisanje pozadine se primjenjuje biblioteka mašinskog učenja BASNet, koristeći PyTorch i torchvision. Da biste odredili tačku na ekranu u koju je kamera telefona bila usmjerena kada ste umetnuli predmet, polovan OpenCV paket i klasa SIFT. Za interakciju sa grafičkim uređivačem, na sistemu se pokreće jednostavan rukovalac servera koji šalje sliku za umetanje na određenim X i Y koordinatama na ekranu (trenutno je podržan samo Photoshop protokol daljinskog upravljanja, a podrška za druge grafičke uređivače obećano da će biti dodato u budućnosti).

izvor: opennet.ru

Dodajte komentar