FairMOT、ビデオ上の複数のオブジェクトを迅速に追跡するシステム

マイクロソフトと中環大学の研究者 開発した 機械学習テクノロジーを使用してビデオ内の複数のオブジェクトを追跡するための新しい高性能手法、FairMOT (Fair Multi-Object Tracking)。 Pytorch とトレーニング済みモデルに基づくメソッド実装を含むコード 出版された GitHub 上で。

既存のオブジェクト追跡メソッドのほとんどは XNUMX つのステージを使用し、それぞれが別個のニューラル ネットワークによって実装されます。 第 XNUMX 段階では、対象オブジェクトの位置を決定するためのモデルを実行し、第 XNUMX 段階では、オブジェクトを再識別してアンカーを付加するために使用される関連検索モデルを使用します。

FairMOT は、変形可能な畳み込みニューラル ネットワークに基づく XNUMX 段階の実装を使用します (DCNv2、変形可能な畳み込みネットワーク) を使用すると、オブジェクト追跡の速度が大幅に向上します。 FairMOT はアンカーなしで動作し、再識別メカニズムを使用して高精度オブジェクト マップ上のオブジェクト中心のオフセットを決定します。 並行して、オブジェクトのアイデンティティを予測するために使用できるオブジェクトの個々の特徴を評価するプロセッサが実行され、メイン モジュールはこれらの特徴の収束を実行して、さまざまなスケールのオブジェクトを操作します。

FairMOT でモデルをトレーニングするために、人物の検出と検索のための 17 つの公開データセット (ETH、Cityperson、CalTech、MOTXNUMX、CUHK-SYSU) の組み合わせが使用されました。 モデルはビデオのテストセットを使用してテストされました 2DMOT15, MOT16, MOT17 и MOT20プロジェクトによって提供される MOTチャレンジ さまざまな状況、カメラの動きや回転、さまざまな視野角をカバーします。 テストの結果、
フェアMOT 先です 最速の競合モデル トラックRCNN и JDE 30 フレーム/秒のビデオ ストリームでテストした場合、通常のビデオ ストリームをオンザフライで分析するのに十分なパフォーマンスを実証しました。

出所： オープンネット.ru