Дослідники з компанії Microsoft та Університету Центрального Китаю новий високопродуктивний метод відстеження кількох об'єктів на відео з використанням технологій машинного навчання FairMOT (Fair Multi-Object Tracking). Код з реалізацією методу на базі Pytorch та натреновані моделі на GitHub.
Більшість існуючих методів відстеження об'єктів використовують два етапи, кожен із яких реалізується окремої нейронної мережею. На першому етапі виконується модель визначення розташування об'єктів, що цікавлять, а на другому етапі використовується модель пошуку асоціацій, застосовувана для повторної ідентифікації об'єктів і прив'язки до них якорів.
У FairMOT застосовується одноетапна реалізація на базі згорткової нейронної мережі, що деформується., Deformable Convolutional Network), яка дозволяє досягти помітного підвищення швидкості відстеження об'єктів. FairMOT працює без прив'язки якір, використовуючи механізм реідентифікації для визначення зсувів центрів об'єктів на високоточній карті об'єктів. Паралельно виконується обробник, що оцінює індивідуальні риси об'єктів, які можуть використовуватися для передбачення їхньої ідентичності, а основний модуль виконує зведення вказаних рис для маніпуляцій різними об'єктами.
Для навчання моделі FairMOT використовувалася комбінація з шести публічних наборів даних виявлення і пошуку людей (ETH, CityPerson, CalTech, MOT17, CUHK-SYSU). Модель була протестована з використанням перевірочних добірок відео , , и , що надаються проектом та охоплюють різні ситуації, рух або обертання камери, різні кути огляду. Проведене тестування показало, що
FairMOT найшвидші конкуруючі моделі и при тестуванні на відеопоках із частотою 30 кадрів на секунду, демонструючи продуктивність, достатню для аналізу звичайних відеопотоків на льоту.
Джерело: opennet.ru