Các nhà nghiên cứu từ Microsoft và Đại học Trung ương Trung Quốc một phương pháp hiệu suất cao mới để theo dõi nhiều đối tượng trong video bằng công nghệ học máy - FairMOT (Theo dõi đa đối tượng công bằng). Mã với phương thức triển khai dựa trên Pytorch và các mô hình được đào tạo trên GitHub.
Hầu hết các phương pháp theo dõi đối tượng hiện có đều sử dụng hai giai đoạn, mỗi giai đoạn được thực hiện bởi một mạng nơ-ron riêng biệt. Giai đoạn đầu tiên chạy mô hình xác định vị trí của các đối tượng quan tâm và giai đoạn thứ hai sử dụng mô hình tìm kiếm liên kết được sử dụng để xác định lại các đối tượng và gắn neo vào chúng.
FairMOT sử dụng triển khai một giai đoạn dựa trên mạng nơ ron tích chập có thể biến dạng (, Mạng chuyển đổi có thể biến dạng), cho phép bạn đạt được sự gia tăng đáng chú ý về tốc độ theo dõi đối tượng. FairMOT hoạt động mà không cần neo, sử dụng cơ chế nhận dạng lại để xác định độ lệch của tâm đối tượng trên bản đồ đối tượng có độ chính xác cao. Song song đó, một bộ xử lý được thực thi để đánh giá các đặc điểm riêng lẻ của các đối tượng có thể được sử dụng để dự đoán danh tính của chúng và mô-đun chính thực hiện việc hội tụ các đặc điểm này để thao tác với các đối tượng ở các quy mô khác nhau.
Để đào tạo mô hình trong FairMOT, người ta đã sử dụng sự kết hợp của sáu bộ dữ liệu công khai để phát hiện và tìm kiếm người (ETH, CityPerson, CalTech, MOT17, CUHK-SYSU). Mô hình đã được thử nghiệm bằng cách sử dụng bộ video thử nghiệm , , и do dự án cung cấp và bao gồm các tình huống khác nhau, chuyển động hoặc xoay của camera, các góc nhìn khác nhau. Cuộc thử nghiệm cho thấy rằng
công bằngMOT người mẫu cạnh tranh nhanh nhất и khi được thử nghiệm trên luồng video 30 khung hình/giây, chứng tỏ hiệu suất đủ để phân tích luồng video thông thường một cách nhanh chóng.
Nguồn: opennet.ru