Naukowcy z Microsoftu i Central China University nowa, wysokowydajna metoda śledzenia wielu obiektów w filmie z wykorzystaniem technologii uczenia maszynowego - FairMOT (Fair Multi-Object Tracking). Kod z implementacją metody w oparciu o Pytorch i wytrenowane modele na GitHubie.
Większość istniejących metod śledzenia obiektów wykorzystuje dwa etapy, każdy realizowany przez oddzielną sieć neuronową. W pierwszym etapie uruchamiany jest model służący do określania lokalizacji interesujących nas obiektów, natomiast w drugim etapie wykorzystujemy model wyszukiwania asocjacji w celu ponownej identyfikacji obiektów i dołączenia do nich kotwic.
FairMOT wykorzystuje jednoetapową implementację opartą na odkształcalnej splotowej sieci neuronowej (, Deformable Convolutional Network), co pozwala na osiągnięcie zauważalnego wzrostu szybkości śledzenia obiektów. FairMOT działa bez kotwic, wykorzystując mechanizm ponownej identyfikacji w celu określenia przesunięć środków obiektów na bardzo precyzyjnej mapie obiektów. Równolegle wykonywany jest procesor, który ocenia indywidualne cechy obiektów, które można wykorzystać do przewidywania ich tożsamości, a moduł główny dokonuje zbieżności tych cech w celu manipulowania obiektami o różnej skali.
Do trenowania modelu w FairMOT wykorzystano kombinację sześciu publicznych zbiorów danych do wykrywania i wyszukiwania osób (ETH, CityPerson, CalTech, MOT17, CUHK-SYSU). Model został przetestowany przy użyciu zestawów testowych filmów , , и zapewnione przez projekt i obejmujące różne sytuacje, ruch lub obrót kamery, różne kąty widzenia. Testy to wykazały
FairMOT najszybszych konkurencyjnych modeli и podczas testów na strumieniach wideo o szybkości 30 klatek na sekundę, wykazując wydajność wystarczającą do analizowania zwykłych strumieni wideo w locie.
Źródło: opennet.ru