当社の将来のコンピュータ ビジョン システムのテクノロジーとモデルは、メール、クラウド、ポイスクなど、当社のさまざまなプロジェクトで徐々に作成され、改良されました。 おいしいチーズやコニャックのように熟しました。 一度、当社のニューラル ネットワークが認識において優れた結果を示していることに気づき、それらを 2 つの bXNUMXb 製品 (Vision) に統合することに決めました。現在、当社ではこの製品を自社で使用し、お客様にも提供しています。

現在、Mail.Ru クラウド ソリューション プラットフォーム上の当社のコンピューター ビジョン テクノロジーは正常に動作し、非常に複雑な実際的な問題を解決しています。 これは、当社のデータセットでトレーニングされ、応用問題の解決に特化した多数のニューラル ネットワークに基づいています。 すべてのサービスは当社のサーバー施設上で実行されます。 Vision パブリック API をアプリケーションに統合すると、サービスのすべての機能が利用できるようになります。 API は高速です。サーバー GPU のおかげで、ネットワーク内の平均応答時間は 100 ミリ秒のレベルです。

カットの下に進むと、Vision の仕事の詳細なストーリーと多くの例が記載されています。

上記の顔認識技術を当社自身が利用しているサービスの一例としては、 イベント 。 そのコンポーネントの XNUMX つである Vision フォト スタンドは、さまざまなカンファレンスに設置されています。 このような写真ブースに近づき、内蔵カメラで写真を撮り、メールを入力すると、システムは数多くの写真の中からカンファレンスのスタッフカメラマンが撮影した写真を即座に見つけ出し、必要に応じて、 、見つかった写真をメールに送信します。 そして、私たちは演出されたポートレートショットのことを話しているのではありません。ビジョンは、大勢の訪問者の中のまさに背景にいてもあなたを認識します。 もちろん、写真スタンド自体がゲストを認識するわけではありません。これらは、内蔵カメラでゲストの写真を撮り、サーバーに情報を送信するだけの美しいスタンドにあるタブレットであり、そこですべての魔法のような認識が行われます。 そして、画像認識の専門家の間でも、このテクノロジーの有効性がいかに驚くべきものであるかを私たちは何度も見てきました。 以下にいくつかの例を説明します。

1. 顔認識モデル

1.1. ニューラルネットワークと処理速度

認識には、ResNet 101 ニューラル ネットワーク モデルの修正を使用し、最後に、ArcFace で行われる方法と同様に、Average Pooling が完全に接続された層に置き換えられます。 ただし、ベクトル表現のサイズは 128 ではなく 512 です。トレーニング セットには、10 人の約 273 万枚の写真が含まれています。

このモデルは、サーバー構成と GPU コンピューティングの慎重に選択されたアーキテクチャーのおかげで、非常に高速に実行されます。 内部ネットワークで API からの応答を受信するまでに 100 ミリ秒かかります。これには、顔検出 (写真内の顔検出)、認識、API 応答での PersonID の返信が含まれます。 写真やビデオなどの大量の受信データがある場合、データをサービスに転送して応答を受け取るまでにさらに時間がかかります。

1.2. モデルの有効性の評価

しかし、ニューラル ネットワークの効率を判断することは非常に曖昧な作業です。 彼らの仕事の質は、モデルがどのデータセットでトレーニングされたか、そしてモデルが特定のデータを扱うために最適化されているかどうかによって決まります。

人気の LFW 検証テストを使用してモデルの精度を評価し始めましたが、それは小さすぎて単純すぎます。 精度が 99,8% に達すると、役に立たなくなります。 認識モデルを評価するための良い競争があります - Megaface では、その上で 82% がランク 1 に徐々に達しました。Megaface テストは 98 万枚の写真 (気を散らすもの) で構成されており、モデルは Facescrub から有名人の数千枚の写真をうまく区別できるはずですディストラクタからのデータセット。 ただし、Megaface のエラー テストをクリアした結果、クリーンなバージョンでは 1% ランク XNUMX の精度が達成されることがわかりました (有名人の写真は通常、非常に具体的です)。 したがって、彼らは、Megaface と同様の、「普通の」人々の写真を使用した別の識別テストを作成しました。 その後、データセットの認識精度を向上させ、はるかに前進しました。 さらに、数千枚の写真から構成されるクラスタリング品質テストを使用します。 ユーザーのクラウド内の顔のマークアップをシミュレートします。 この場合、クラスターは類似した顔のグループであり、認識可能な人物ごとに XNUMX つのグループが存在します。 実際のグループ (本当) での作業の品質をチェックしました。

もちろん、どの機種にも認識エラーはあります。 しかし、このような状況は、特定の条件のしきい値を微調整することで解決されることがよくあります (すべてのカンファレンスに同じしきい値を使用します。たとえば、ACS の場合、誤検知を減らすためにしきい値を大幅に増やす必要があります)。 カンファレンス出席者の大多数は、Vision フォト スタンドで正しく認識されました。 トリミングされたプレビューを見て、「あなたのシステムは間違っています。私ではありません。」と言う人もいます。 それから写真全体を開くと、この写真には本当にこの訪問者が写っていたことが分かりました。彼らが彼を撃ったのではなく、別の誰かが撮っただけで、その人物がたまたま背景のぼかしゾーンにいただけでした。 さらに、ニューラル ネットワークは、顔の一部が見えていない場合や、人物が横顔をしている場合や、半分向きを変えている場合でも、正しく認識することがよくあります。 このシステムは、広角レンズで撮影する場合など、顔が光学歪みの領域内にある場合でも人物を認識できます。

1.3. 困難な状況でのテストの例

以下は、ニューラル ネットワークがどのように機能するかの例です。 写真は入力として送信され、人物の一意の識別子である PersonID でマークする必要があります。 XNUMX つ以上の画像が同じ識別子を持つ場合、モデルによれば、これらの写真には同じ人物が写っています。

テスト中に、モデルのさまざまなパラメーターとしきい値が利用可能であり、特定の結果を達成するために調整できることがすぐにわかります。 パブリック API は、一般的なケースで最大の精度が得られるように最適化されています。

最も単純な完全顔認識から始めましょう。

まあ、簡単すぎました。 タスクを複雑にして、ひげと数年を追加しましょう。

どちらの場合も顔全体が表示され、アルゴリズムは顔に関する多くの情報を利用できるため、これもそれほど難しくはなかったと誰かが言うでしょう。 さて、トム・ハーディの横顔を見てみましょう。 このタスクははるかに難しく、低レベルのエラーを維持しながら問題を解決するために多大な努力を費やしました。トレーニング サンプルを選択し、ニューラル ネットワークのアーキテクチャを熟考し、損失関数を完成させ、写真を改善しました。前処理中。

彼に帽子をかぶせましょう:

ちなみに、これは特に難しい状況の例です。ここでは顔が大きく覆われており、下の写真では目が隠れる深い影もあります。 実生活では、人々は黒眼鏡の助けを借りて外見を変えることが非常によくあります。 トムにも同じことをしてみましょう。

さて、さまざまな年齢の写真をアップロードしてみましょう。今回は別の俳優の経験を載せてみましょう。 加齢に伴う変化が特に顕著な、より複雑な例を見てみましょう。 この状況は突飛なものではなく、パスポートの写真と所持者の顔を比較する必要があるときに常に発生します。 結局のところ、パスポートの最初の写真は所有者が20歳のときに貼り付けられ、45歳までに大きく変わる可能性があります。

メインのミッションインポッシブルのスペシャリストは年齢とともにあまり変わっていないと思いますか? 上と下の写真を組み合わせる人はほとんどいないと思いますが、少年は長年にわたって大きく変化しました。

ニューラル ネットワークは、外観の変更に頻繁に直面します。 たとえば、女性は化粧品の助けを借りて自分のイメージを大きく変えることができます。

ここで、タスクをさらに複雑にしてみましょう。顔のさまざまな部分をさまざまな写真でカバーしてみましょう。 このような場合、アルゴリズムはサンプル全体を比較できません。 ただし、Vision はこのような状況にもうまく対処します。

ところで、写真にはたくさんの顔が含まれており、たとえばホールの全体像には100人以上が収まります。 これはニューラル ネットワークにとっては困難な状況です。多くの顔の照明が異なったり、誰かの焦点が合っていない可能性があるためです。 ただし、写真が十分な解像度と品質 (顔を覆う 75 平方あたり少なくとも XNUMX ピクセル) で撮影されていれば、Vision はそれを識別して認識できます。

ルポルタージュ写真や監視カメラの画像の特徴は、焦点が合っていないか、その瞬間に動いていたため、人物がぼやけていることが多いということです。

また、光の強さは画像ごとに大きく異なる場合があります。 これもしばしば障害となるため、多くのアルゴリズムでは、正確なマッチングは言うまでもなく、暗すぎる画像や明るすぎる画像を正しく処理することが非常に困難になります。 このような結果を達成するには、特定の方法でしきい値を設定する必要があることを思い出してください。この可能性はまだパブリックドメインでは利用できません。 すべてのクライアントに対して同じニューラル ネットワークを使用し、最も実用的なタスクに適したしきい値を備えています。

私たちは最近、アジア人の顔を高精度で認識するモデルの新しいバージョンを公開しました。 これはかつて大きな問題であり、「機械学習（またはニューラル ネットワーク）の人種差別」という名前さえ付けられました。 ヨーロッパとアメリカのニューラルネットワークはコーカソイドの顔をよく認識しましたが、モンゴロイドとネグロイドの顔ではすべてがはるかに悪かったです。 おそらく、同じ中国でも状況は全く逆だったのでしょう。 重要なのは、特定の国における主な顔のタイプを反映するトレーニング データ セットです。 しかし、状況は変わりつつあり、今日ではこの問題はそれほど深刻なものではありません。 ビジョンは、さまざまな人種の代表者に対して何の問題も経験しません。

顔認識は、当社のテクノロジーの多くの応用例の XNUMX つにすぎません。視覚はあらゆるものを認識するように教えることができます。 たとえば、ナンバー プレートは、鋭角であったり、汚れていて数字が読みにくいなど、アルゴリズムにとって困難な状況にあります。

2. 実際の使用例

2.1. 物理的なアクセス制御: XNUMX 人が同じ峠を歩くとき

Vision を利用すると、従業員の出退勤を記録するシステムを実装できます。 電子バッジに基づく従来のシステムには、XNUMX つのバッジを一緒に確認できるなど、明らかな欠点があります。 アクセス制御システム (ACS) に Vision が追加されている場合、誰がいつ来たか、いつ帰ったかを正確に記録します。

2.2. 労働時間の会計処理

この Vision の使用例は、前の使用例と密接に関連しています。 入退室システムに当社の顔認証サービスを追加すると、入退室管理の違反を検知できるだけでなく、建物内や施設内の従業員の実際の存在も登録できるようになります。 言い換えれば、Vision は、誰が何時に出勤してそのまま退社したか、同僚が上司の前でその人をかばったとしても、誰がまったく仕事をサボったかを正直に考慮するのに役立ちます。

2.3. ビデオ分析: 人物追跡とセキュリティ

Vision で人々を追跡することで、ショッピングエリア、駅、交差点、道路、その他多くの公共の場所の実際の交通量を正確に評価できます。 また、当社の追跡は、倉庫やその他の重要なオフィス施設などへのアクセスを制御するのに非常に役立ちます。 そしてもちろん、人物と顔を追跡することはセキュリティ問題の解決に役立ちます。 あなたの店から誰かが盗んだのを捕まえましたか？ Vision から返された PersonID をビデオ分析ソフトウェアにブラックリストに登録すると、次回このタイプが再び表示された場合、システムはすぐにセキュリティに警告します。

2.4. 貿易において

小売業やさまざまなサービス業は、行列の認識に関心を持っています。 ビジョンの助けを借りて、これがランダムな群衆ではなく行列であることを認識し、その長さを判断することができます。 そして、システムは状況を理解するために列の様子を担当者に通知します。これは訪問者が殺到しているので追加の作業員を呼ぶ必要があるのか​​、誰かが自分の仕事の責任を台無しにしているのかのどちらかです。

もう XNUMX つの興味深い作業は、ホール内の会社員と訪問者を区別することです。 通常、システムは、特定の服を着ているオブジェクト (ドレス コード)、または何らかの特徴 (会社のスカーフ、胸のバッジなど) を備えたオブジェクトを区別するように訓練されています。 これは、出席状況をより正確に評価するのに役立ちます (従業員がホールにいる人々の統計をその出席だけで「巻き上げる」ことがなくなります)。

顔認識の助けを借りて、訪問者の忠誠度、つまり、何人の人がどのくらいの頻度で施設に戻ってくるのか、訪問者を評価することもできます。 毎月何人のユニーク訪問者が訪問するかを計算します。 獲得コストと維持コストを最適化するために、曜日や時間帯に応じた出席者数の変化を調べることもできます。

フランチャイザーやネットワーク会社は、ロゴ、看板、ポスター、バナーなどの存在など、写真に基づいてさまざまな小売店のブランド品質の評価を注文できます。

2.5. 輸送中

ビデオ分析を利用したセキュリティのもう XNUMX つの例は、空港や駅のホールでの忘れ物の検出です。 視覚は、家具、バッグ、スーツケース、傘、さまざまな種類の衣類、ボトルなど、何百ものクラスの物体を認識できるように訓練することができます。 ビデオ分析システムが孤立オブジェクトを検出し、Vision を使用してそれを認識すると、セキュリティ サービスに信号を送信します。 同様のタスクは、公共の場所での非標準的な状況の自動検出に関連しています。誰かが病気になった、誰かが間違った場所で喫煙した、人がレールに落ちたなど、これらすべてのパターンはビデオで認識できます。 Vision API を介した分析システム。

2.6. 書類の流れ

私たちが現在開発中の Vision のもう XNUMX つの興味深い将来のアプリケーションは、文書認識とそのデータベースへの自動解析です。 無限の系列、数字、発行日、口座番号、銀行口座の詳細、日付と生年月日、その他多くの形式化されたデータを手動で入力する (またはさらに悪いことに入力する) 代わりに、文書をスキャンして自動的に送信することが可能になります。 API を介したクラウドへの安全なチャネル。システムはこれらのドキュメントをオンザフライで認識し、解析して、データベースへの自動入力に必要な形式のデータを含む応答を返します。 現在、Vision はドキュメント (PDF を含む) を分類する方法をすでに認識しており、パスポート、SNILS、TIN、出生証明書、結婚証明書などを区別しています。

もちろん、ニューラル ネットワークは、そのままの状態でこれらすべての状況を処理できるわけではありません。 いずれの場合も、特定の顧客向けに新しいモデルが構築され、多くの要素、ニュアンス、要件が考慮され、データセットが選択され、トレーニング、テスト、構成の繰り返しが実行されます。

3. APIの運用スキーム

ユーザーにとっての Vision の「ゲートウェイ」は REST API です。 写真、ビデオ ファイル、ネットワーク カメラからのブロードキャスト (RTSP ストリーム) を入力として受け入れることができます。

ビジョンを使用するには、次のものが必要です 登録 Mail.ru クラウド ソリューション サービスにアクセスし、アクセス トークン (client_id + client_secret) を取得します。 ユーザー認証はOAuthプロトコルを使用して実行されます。 POST リクエスト本文の生データが API に送信されます。 そして、応答として、クライアントは API から JSON 形式で認識結果を受け取ります。応答は構造化されており、検出されたオブジェクトとその座標に関する情報が含まれています。

回答例

{
   "status":200,
   "body":{
      "objects":[
         {
            "status":0,
            "name":"file_0"
         },
         {
            "status":0,
            "name":"file_2",
            "persons":[
               {
                  "tag":"person9"
                  "coord":[149,60,234,181],
                  "confidence":0.9999,
                  "awesomeness":0.45
               },
               {
                  "tag":"person10"
                  "coord":[159,70,224,171],
                  "confidence":0.9998,
                  "awesomeness":0.32
               }
            ]
         }

         {
            "status":0,
            "name":"file_3",
            "persons":[
               {
               "tag":"person11",
               "coord":[157,60,232,111],
               "aliases":["person12", "person13"]
               "confidence":0.9998,
               "awesomeness":0.32
               }
            ]
         },
         {
            "status":0,
            "name":"file_4",
            "persons":[
               {
               "tag":"undefined"
               "coord":[147,50,222,121],
               "confidence":0.9997,
               "awesomeness":0.26
               }
            ]
         }
      ],
      "aliases_changed":false
   },
   "htmlencoded":false,
   "last_modified":0
}

応答には興味深い素晴らしさパラメーターがあります。これは写真内の顔の条件付きの「かっこよさ」であり、その助けを借りてシーケンスから最高の顔ショットを選択します。 私たちは、写真がソーシャル ネットワーク上で「いいね」される確率を予測するためにニューラル ネットワークをトレーニングしました。 写真が良くなり、顔が笑顔になればなるほど、その素晴らしさは増します。

Vision API はスペースなどを使用します。 これは、さまざまな顔のセットを作成するためのツールです。 スペースの例としては、ブラックリストとホワイトリスト、訪問者、従業員、顧客のリストなどがあります。Vision ではトークンごとに最大 10 個のスペースを作成でき、各スペースには最大 50 個の PersonID、つまり 500 つあたり最大 XNUMX 個の PersonID を含めることができます。トークン。 同時に、アカウントあたりのトークンの数に制限はありません。

現在、API は次の検出および認識方法をサポートしています。

• 認識/設定 - 顔の検出と認識。 それぞれの一意の顔に personID を自動的に割り当て、見つかった顔の personID と座標を返します。
• 削除 - 特定の PersonID を個人データベースから削除します。
• Truncate - PersonID からスペース全体をクリアします。テストとして使用され、実稼働用にベースをリセットする必要がある場合に便利です。
• 検出 - オブジェクト、シーン、ナンバー プレート、注目の地点、行列などの検出。見つかったオブジェクトのクラスとその座標を返します。
• 文書の検出 - ロシア連邦の特定の種類の文書を検出します (パスポート、スニル、旅館などを区別します)。

また、性別、年齢、感情を判断する OCR の手法や、店頭での商品の陳列を自動制御するマーチャンダイジング タスクの解決も間もなく完了します。 完全な API ドキュメントは次の場所にあります。 https://mcs.mail.ru/help/vision-api

4。 結論

現在、パブリック API を通じて写真やビデオ内の顔認識にアクセスできるようになり、さまざまなオブジェクト、ナンバー プレート、興味​​のある場所、ドキュメント、シーン全体の定義がサポートされます。 応用シナリオ - 海。 さあ、私たちのサービスをテストし、最も難しいタスクを設定してください。 最初の 5000 トランザクションは無料です。 おそらくそれはあなたのプロジェクトに「欠けている要素」となるでしょう。

登録と接続時にすぐに API にアクセスできます ビジョン。 すべての habrausers - 追加トランザクション用のプロモーション コード。 アカウントを登録した個人のメールアドレスを記入してください！

出所： habr.com