Cyril Diagne (), ein französischer Künstler, Designer, Programmierer und Experte für Benutzeroberflächeninteraktion, Prototyp der Anwendung , die Augmented-Reality-Technologien nutzt, um Bilder aus der realen Welt in einen Grafikeditor zu übertragen. Mit Hilfe eines Mobiltelefons kann der Benutzer ein Foto von jedem realen Objekt aus dem gewünschten Winkel aufnehmen, woraufhin die Anwendung den Hintergrund entfernt und nur das Objekt belässt. Anschließend kann der Benutzer die Kamerafokussierung des Mobiltelefons auf den Bildschirm eines Computers mit dem geöffneten Grafikeditor richten, einen Punkt wählen und das Objekt an dieser Stelle einfügen.
Code Python geschrieben, während für die Android-Plattform in TypeScript unter Verwendung des React Native-Frameworks entwickelt wurde. Um das Objekt im Bild zu erkennen und den Hintergrund zu entfernen, wird die Machine-Learning-Bibliothek , die PyTorch und torchvision verwendet, eingesetzt. Zur Bestimmung des Punktes auf dem Bildschirm, auf den die Kamera des Telefons beim Einfügen des Objekts gerichtet war, wird das OpenCV-Paket und die Klasse . Um mit dem Grafikeditor zu interagieren, startet das System einen einfachen Server-Handler, der das Bild gemäß den festgelegten X- und Y-Koordinaten auf dem Bildschirm überträgt (derzeit wird nur das Remote-Control-Protokoll von Photoshop unterstützt, die Unterstützung für andere Grafikeditoren wird in Zukunft versprochen).
Quelle: opennet.ru
