ต้นแบบอินเทอร์เฟซสำหรับการถ่ายโอนภาพจากโลกแห่งความเป็นจริงไปยังโปรแกรมแก้ไขกราฟิก

ซีริล ดิยาญ (ซีริล ดิยาญ), ศิลปิน นักออกแบบ โปรแกรมเมอร์ และผู้ทดลองชาวฝรั่งเศสในสาขาอินเทอร์เฟซผู้ใช้ ตีพิมพ์ ต้นแบบแอปพลิเคชัน ar-cutpasteซึ่งใช้เทคโนโลยีความเป็นจริงเสริมเพื่อถ่ายโอนภาพจากโลกแห่งความเป็นจริงไปยังโปรแกรมแก้ไขกราฟิก โปรแกรมนี้ให้คุณใช้โทรศัพท์มือถือของคุณเพื่อถ่ายภาพวัตถุจริงใด ๆ จากมุมที่ต้องการ หลังจากนั้นแอปพลิเคชันจะลบพื้นหลังและเหลือไว้เพียงวัตถุนี้ จากนั้นผู้ใช้สามารถโฟกัสกล้องโทรศัพท์มือถือบนหน้าจอคอมพิวเตอร์ที่เรียกใช้โปรแกรมแก้ไขกราฟิก เลือกจุดและแทรกวัตถุในตำแหน่งนี้

รหัส ส่วนเซิร์ฟเวอร์ถูกเขียน ใน Python และ โปรแกรมมือถือ สำหรับแพลตฟอร์ม Android ที่ใช้ TypeScript โดยใช้เฟรมเวิร์ก React Native เพื่อเน้นวัตถุในภาพถ่ายและล้างพื้นหลัง นำไปใช้ ไลบรารีการเรียนรู้ของเครื่อง บาสเน็ตโดยใช้ PyTorch และ torchvision ในการระบุจุดบนหน้าจอที่กล้องโทรศัพท์เล็งไปเมื่อคุณใส่วัตถุ เคย แพ็คเกจและคลาส OpenCV SIFT. ในการโต้ตอบกับโปรแกรมแก้ไขกราฟิก จะมีการเปิดตัวตัวจัดการเซิร์ฟเวอร์อย่างง่ายบนระบบ ซึ่งจะส่งรูปภาพสำหรับการแทรกที่พิกัด X และ Y ที่แน่นอนบนหน้าจอ (ปัจจุบันรองรับเฉพาะโปรโตคอลการควบคุมระยะไกลของ Photoshop เท่านั้น และรองรับโปรแกรมแก้ไขกราฟิกอื่น ๆ สัญญาว่าจะเพิ่มในอนาคต)

ที่มา: opennet.ru