FairMOT, מערכת למעקב מהיר אחר אובייקטים מרובים בווידאו

חוקרים ממיקרוסופט ואוניברסיטת סין המרכזית מפותח שיטה חדשה בעלת ביצועים גבוהים למעקב אחר אובייקטים מרובים בווידאו באמצעות טכנולוגיות למידת מכונה - FairMOT (Fair Multi-Object Tracking). קוד עם הטמעת שיטה המבוססת על Pytorch ומודלים מאומנים יצא לאור ב-GitHub.

רוב שיטות מעקב האובייקטים הקיימות משתמשות בשני שלבים, שכל אחד מהם מיושם על ידי רשת עצבית נפרדת. השלב הראשון מריץ מודל לקביעת מיקום אובייקטים מעניינים, ובשלב השני נעשה שימוש במודל חיפוש אסוציאציות המשמש לזיהוי מחדש של אובייקטים והצמדת עוגנים אליהם.

FairMOT משתמש ביישום חד-שלבי המבוסס על רשת עצבית קונבולוציונית הניתנת לעיוות (DCNv2, Deformable Convolutional Network), המאפשרת לך להשיג עלייה ניכרת במהירות המעקב אחר אובייקטים. FairMOT פועלת ללא עוגנים, תוך שימוש במנגנון זיהוי מחדש כדי לקבוע את ההיסטים של מרכזי אובייקטים על מפת אובייקטים בעלת דיוק גבוה. במקביל, מבוצע מעבד שמעריך את התכונות האינדיבידואליות של אובייקטים שניתן להשתמש בהם כדי לחזות את זהותם, והמודול הראשי מבצע התכנסות של תכונות אלו כדי לתפעל אובייקטים בקנה מידה שונה.

כדי להכשיר את המודל ב-FairMOT, נעשה שימוש בשילוב של שישה מערכי נתונים ציבוריים לזיהוי וחיפוש אנשים (ETH, CityPerson, CalTech, MOT17, CUHK-SYSU). המודל נבדק באמצעות ערכות בדיקה של סרטונים 2DMOT15, MOT16, MOT17 и MOT20מסופק על ידי הפרויקט אתגר MOT וכיסוי מצבים שונים, תנועת מצלמה או סיבוב, זוויות צפייה שונות. הבדיקה הראתה את זה
FairMOT מתעלה הדגמים המתחרים המהירים ביותר TrackRCNN и JDE כאשר נבדק על זרמי וידאו של 30 פריימים לשנייה, המדגים ביצועים מספיקים לניתוח זרמי וידאו רגילים תוך כדי תנועה.

מקור: OpenNet.ru