Даследнікі з кампаніі Microsoft і Універсітэта Цэнтральнага Кітая новы высокапрадукцыйны метад адсочвання некалькіх аб'ектаў на відэа з выкарыстаннем тэхналогій машыннага навучання – FairMOT (Fair Multi-Object Tracking). Код з рэалізацыяй метаду на базе Pytorch і натрэніраваныя мадэлі на GitHub.
Большасць існуючых метадаў адсочвання аб'ектаў выкарыстоўваюць два этапы, кожны з якіх рэалізуецца асобнай нейронавай сеткай. На першым этапе выконваецца мадэль вызначэння месцазнаходжання аб'ектаў, якія цікавяць, а на другім этапе выкарыстоўваецца мадэль пошуку асацыяцый, якая ўжываецца для паўторнай ідэнтыфікацыі аб'ектаў і прывязкі да іх якароў.
У FairMOT прымяняецца аднаэтапная рэалізацыя на базе дэфармуемай скруткавай нейронавай сеткі (, Deformable Convolutional Network), якая дазваляе дабіцца прыкметнага павышэння хуткасці адсочвання аб'ектаў. FairMOT працуе без прывязкі якароў, выкарыстоўваючы механізм рэідэнтыфікацыі для вызначэння зрушэнняў цэнтраў аб'ектаў на высокадакладнай карце аб'ектаў. Паралельна выконваецца апрацоўшчык, які ацэньвае індывідуальныя рысы аб'ектаў, якія могуць выкарыстоўвацца для прадказання іх ідэнтычнасці, а асноўны модуль выконвае звядзенне паказаных рыс для маніпуляцый аб'ектамі рознага маштабу.
Для навучання мадэлі ў FairMOT выкарыстоўвалася камбінацыя з шасці публічных набораў дадзеных для выяўлення і пошуку людзей (ETH, CityPerson, CalTech, MOT17, CUHK-SYSU). Мадэль была пратэставаная з выкарыстаннем праверачных падборак відэа , , и , якія прадстаўляюцца праектам і якія ахопліваюць розныя сітуацыі, рух ці кручэнне камеры, розныя куты агляду. Праведзенае тэсціраванне паказала, што
FairMOT найбольш хуткія канкуруючыя мадэлі и пры тэставанні на відэапаках з частатой 30 кадраў у секунду, дэманструючы прадукцыйнасць, дастатковую для аналізу звычайных відэаструменяў на лета.
Крыніца: opennet.ru