Prototype d'interface pour transférer des images du monde réel vers un éditeur graphique

Cyrille Diagne (Cyril Diagne), artiste, designer, programmeur et expérimentateur français dans le domaine des interfaces utilisateurs, publié prototype d'application ar-cutpaste, qui utilise des technologies de réalité augmentée pour transférer des images du monde réel vers un éditeur graphique. Le programme vous permet d'utiliser votre téléphone mobile pour prendre une photo de n'importe quel objet réel sous l'angle souhaité, après quoi l'application supprimera l'arrière-plan et ne laissera que cet objet. Ensuite, l'utilisateur peut focaliser la caméra du téléphone mobile sur l'écran de l'ordinateur exécutant un éditeur graphique, sélectionner un point et insérer un objet à cette position.

Prototype d'interface pour transférer des images du monde réel vers un éditeur graphique

Code la partie serveur est écrite en Python, et applications mobiles pour la plateforme Android utilisant TypeScript en utilisant le framework React Native. Pour mettre en valeur un sujet sur une photo et effacer l'arrière-plan applique bibliothèque d'apprentissage automatique BASNet, en utilisant PyTorch et torchvision. Pour déterminer le point de l'écran vers lequel la caméra du téléphone était dirigée lorsque vous avez inséré un objet, d'occasion Package et classe OpenCV SIFT. Pour interagir avec l'éditeur graphique, un simple gestionnaire de serveur est lancé sur le système, qui transmet une image à insérer à certaines coordonnées X et Y sur l'écran (actuellement, seul le protocole de contrôle à distance Photoshop est pris en charge, et la prise en charge d'autres éditeurs graphiques est promis d'être ajouté à l'avenir).

Source: opennet.ru

Ajouter un commentaire