אב טיפוס ממשק להעברת תמונות מהעולם האמיתי לעורך גרפי

סיריל דיאן (סיריל דיאן), אמן, מעצב, מתכנת ונסיין צרפתי בתחום ממשקי המשתמש, פורסם אב טיפוס של אפליקציה ar-cutpaste, המשתמשת בטכנולוגיות מציאות רבודה כדי להעביר תמונות מהעולם האמיתי לעורך גרפי. התוכנה מאפשרת להשתמש בטלפון הנייד כדי לצלם כל אובייקט אמיתי מהזווית הרצויה, ולאחר מכן האפליקציה תסיר את הרקע ותשאיר רק אובייקט זה. לאחר מכן, המשתמש יכול למקד את מצלמת הטלפון הנייד על מסך המחשב המריץ עורך גרפי, לבחור נקודה ולהכניס אובייקט במיקום זה.

קוד חלק השרת כתוב בפייתון, ו אפליקציה לנייד עבור פלטפורמת אנדרואיד באמצעות TypeScript באמצעות המסגרת React Native. כדי להדגיש נושא בתמונה ולנקות את הרקע חל ספריית למידת מכונה BASNet, באמצעות PyTorch ו-torchvision. כדי לקבוע את הנקודה על המסך שאליה כוונה מצלמת הטלפון כשהכנסת חפץ, משמש חבילת OpenCV ומחלקה לְנַפּוֹת. כדי ליצור אינטראקציה עם העורך הגרפי, מפעיל שרת פשוט במערכת, המשדר תמונה להכנסה בקואורדינטות X ו-Y מסוימות על המסך (כרגע נתמך רק בפרוטוקול השלט הרחוק של Photoshop, ותמיכה בעורכי גרפיקה אחרים היא הבטיחו להתווסף בעתיד).

מקור: OpenNet.ru