Interface-prototype voor het overbrengen van afbeeldingen van de echte wereld naar een grafische editor

Cyrillus Diagne (Cyrillus Diagne), Franse kunstenaar, ontwerper, programmeur en experimentator op het gebied van gebruikersinterfaces, gepubliceerd toepassingsprototype ar-cutpaste, dat augmented reality-technologieën gebruikt om afbeeldingen van de echte wereld over te brengen naar een grafische editor. Met het programma kunt u uw mobiele telefoon gebruiken om vanuit de gewenste hoek een foto te maken van elk echt object, waarna de applicatie de achtergrond verwijdert en alleen dit object overblijft. Vervolgens kan de gebruiker de camera van de mobiele telefoon scherpstellen op het computerscherm met een grafische editor, een punt selecteren en op deze positie een object invoegen.

Interface-prototype voor het overbrengen van afbeeldingen van de echte wereld naar een grafische editor

code servergedeelte is geschreven in Python, en mobiele toepassingen voor het Android-platform met TypeScript met behulp van het React Native-framework. Om een ​​onderwerp op een foto te markeren en de achtergrond te wissen toegepast machine learning-bibliotheek BASNet, met behulp van PyTorch en torchvision. Om het punt op het scherm te bepalen waarop de telefooncamera was gericht toen u een object invoegde, gebruikt OpenCV-pakket en klasse ZIFTEN. Voor interactie met de grafische editor wordt een eenvoudige serverhandler op het systeem gestart, die een afbeelding verzendt die op bepaalde X- en Y-coördinaten op het scherm kan worden ingevoegd (momenteel wordt alleen het Photoshop-protocol voor afstandsbediening ondersteund, en ondersteuning voor andere grafische editors is beloofd dat dit in de toekomst zal worden toegevoegd).

Bron: opennet.ru

Voeg een reactie