FairMOT, ένα σύστημα γρήγορης παρακολούθησης πολλαπλών αντικειμένων σε βίντεο

Ερευνητές από τη Microsoft και το Πανεπιστήμιο της Κεντρικής Κίνας αναπτηγμένος μια νέα μέθοδος υψηλής απόδοσης για την παρακολούθηση πολλαπλών αντικειμένων σε βίντεο χρησιμοποιώντας τεχνολογίες μηχανικής εκμάθησης - FairMOT (Fair Multi-Object Tracking). Κώδικας με υλοποίηση μεθόδου που βασίζεται σε Pytorch και εκπαιδευμένα μοντέλα που δημοσιεύθηκε στο GitHub.

Οι περισσότερες υπάρχουσες μέθοδοι παρακολούθησης αντικειμένων χρησιμοποιούν δύο στάδια, καθένα από τα οποία υλοποιείται από ένα ξεχωριστό νευρωνικό δίκτυο. Το πρώτο στάδιο εκτελεί ένα μοντέλο για τον προσδιορισμό της θέσης των αντικειμένων ενδιαφέροντος και το δεύτερο στάδιο χρησιμοποιεί ένα μοντέλο αναζήτησης συσχέτισης που χρησιμοποιείται για την εκ νέου αναγνώριση αντικειμένων και την προσάρτηση αγκυρώσεων σε αυτά.

Το FairMOT χρησιμοποιεί μια υλοποίηση ενός σταδίου που βασίζεται σε ένα παραμορφώσιμο συνελικτικό νευρωνικό δίκτυο (DCNv2, Παραμορφώσιμο Συνελικτικό Δίκτυο), το οποίο σας επιτρέπει να επιτύχετε αισθητή αύξηση στην ταχύτητα παρακολούθησης αντικειμένων. Το FairMOT λειτουργεί χωρίς άγκυρες, χρησιμοποιώντας έναν μηχανισμό επαναπροσδιορισμού για τον προσδιορισμό των μετατοπίσεων των κέντρων αντικειμένων σε έναν χάρτη αντικειμένων υψηλής ακρίβειας. Παράλληλα, εκτελείται ένας επεξεργαστής που αξιολογεί τα μεμονωμένα χαρακτηριστικά των αντικειμένων που μπορούν να χρησιμοποιηθούν για την πρόβλεψη της ταυτότητάς τους και η κύρια μονάδα εκτελεί μια σύγκλιση αυτών των χαρακτηριστικών για να χειριστεί αντικείμενα διαφορετικής κλίμακας.

Για την εκπαίδευση του μοντέλου στο FairMOT, χρησιμοποιήθηκε ένας συνδυασμός έξι δημόσιων συνόλων δεδομένων για τον εντοπισμό και την αναζήτηση ατόμων (ETH, CityPerson, CalTech, MOT17, CUHK-SYSU). Το μοντέλο δοκιμάστηκε χρησιμοποιώντας δοκιμαστικά σετ βίντεο 2DMOT15, MOT16, MOT17 и MOT20που παρέχεται από το έργο Πρόκληση MOT και κάλυψη διαφορετικών καταστάσεων, κίνησης ή περιστροφής της κάμερας, διαφορετικές γωνίες θέασης. Η δοκιμή το έδειξε
FairMOT ξεπερνάει ταχύτερα ανταγωνιστικά μοντέλα TrackRCNN и J.D.E. όταν δοκιμάζεται σε ροές βίντεο 30 καρέ ανά δευτερόλεπτο, επιδεικνύοντας επαρκή απόδοση για την ανάλυση κανονικών ροών βίντεο εν κινήσει.

Πηγή: opennet.ru