FairMOT, система за бързо проследяване на множество обекти на видео

Изследователи от Microsoft и Централен китайски университет развити нов високоефективен метод за проследяване на множество обекти във видео чрез технологии за машинно обучение - FairMOT (Fair Multi-Object Tracking). Код с внедряване на метод, базиран на Pytorch и обучени модели публикувани на GitHub.

Повечето съществуващи методи за проследяване на обекти използват два етапа, всеки от които се изпълнява от отделна невронна мрежа. Първият етап изпълнява модел за определяне на местоположението на обектите, представляващи интерес, а вторият етап използва модел за търсене на асоциации, използван за повторно идентифициране на обекти и прикрепяне на котви към тях.

FairMOT използва едностепенна реализация, базирана на деформируема конволюционна невронна мрежа (DCNv2, Деформируема конволюционна мрежа), което ви позволява да постигнете забележимо увеличение на скоростта на проследяване на обекти. FairMOT работи без анкери, използвайки механизъм за повторна идентификация за определяне на отместванията на центровете на обекти върху високопрецизна обектна карта. Успоредно с това се изпълнява процесор, който оценява индивидуалните характеристики на обекти, които могат да бъдат използвани за прогнозиране на тяхната идентичност, а главният модул извършва конвергенция на тези характеристики, за да манипулира обекти с различни мащаби.

За обучение на модела в FairMOT беше използвана комбинация от шест публични набора от данни за откриване и търсене на хора (ETH, CityPerson, CalTech, MOT17, CUHK-SYSU). Моделът беше тестван с помощта на тестови набори от видеоклипове 2DMOT15, MOT16, MOT17 и MOT20предвидени от проекта MOT предизвикателство и обхваща различни ситуации, движение или въртене на камерата, различни ъгли на гледане. Това показа тестването
FairMOT изпреварва най-бързите конкурентни модели Проследяване на RCNN и J.D.E. при тестване на видео потоци с 30 кадъра в секунда, демонстрирайки производителност, достатъчна за анализиране на редовни видео потоци в движение.

Източник: opennet.ru