FairMOT, ein System zur schnellen Verfolgung mehrerer Objekte in Videos.

Forscher von Microsoft und der Zentralen Universität China entwickelt eine neue hochleistungsfähige Methode zur Verfolgung mehrerer Objekte in Videos unter Verwendung von Technologien des maschinellen Lernens – FairMOT (Fair Multi-Object Tracking). Der Code zur Implementierung der Methode basiert auf Pytorch und umfasst trainierte Modelle sind veröffentlicht auf GitHub weiterentwickelt.

Die meisten bestehenden Methoden zur Objektverfolgung verwenden zwei Phasen, von denen jede von einem separaten neuronalen Netzwerk implementiert wird. In der ersten Phase wird ein Modell zur Bestimmung der Position der interessierenden Objekte eingesetzt, während in der zweiten Phase ein Assoziierungsmodell verwendet wird, um Objekte wiederzuerkennen und sie mit Ankern zu verbinden.

In FairMOT wird eine Ein-Schritt-Implementierung auf Basis eines deformierbaren Faltungsnetzwerks (DCNv2, das deformierbare konvolutionale Netzwerk), das eine signifikante Steigerung der Verfolgungsgeschwindigkeit von Objekten ermöglicht. FairMOT arbeitet ohne Ankerbindung und verwendet einen Reidentifikationsmechanismus, um die Verschiebungen der Objektzentren auf einer hochpräzisen Karte zu bestimmen. Parallel dazu läuft ein Verarbeitungsmodul, das individuelle Merkmale der Objekte bewertet, die zur Vorhersage ihrer Identität verwendet werden können, während das Hauptmodul diese Merkmale für die Manipulation von Objekten unterschiedlicher Größenordnung zusammenführt.

Für das Training des Modells in FairMOT wurde eine Kombination aus sechs öffentlichen Datensätzen zur Erkennung und Nachverfolgung von Personen verwendet (ETH, CityPerson, CalTech, MOT17, CUHK-SYSU). Das Modell wurde mit Validierungsvideos getestet. 2DMOT15, MOT16, MOT17 und MOT20, bereitgestellt von dem Projekt MOT Challenge und deckt verschiedene Szenarien ab, Kamerabewegungen oder -drehungen, verschiedene Perspektiven. Die durchgeführten Tests zeigten, dass
FairMOT x264 und libvpx-vp9 in Bezug auf die Kompressionsrate, erfordert jedoch aufgrund der komplexeren Algorithmen die schnellsten konkurrierenden Modelle TrackRCNN und JDE Bei Tests mit Videoaufnahmen mit 30 Bildern pro Sekunde zeigt es eine Leistung, die ausreicht, um gängige Videoströme in Echtzeit zu analysieren.

Quelle: opennet.ru