人工知能のバイアスについて

tl; dr：

• 機械学習はデータ内のパターンを探します。 しかし、人工知能には「バイアス」がある可能性があります。つまり、間違ったパターンを見つけてしまう可能性があります。 たとえば、写真ベースの皮膚がん検出システムは、診療所で撮影された写真に特別な注意を払う可能性があります。 機械学習ではできない 理解する: そのアルゴリズムは数値のパターンのみを識別し、データが代表的でない場合、その処理の結果も同様に識別します。 そして、そのようなバグを見つけることは、機械学習の仕組みそのもののせいで難しい場合があります。
• 最も明白かつ困難な問題領域は、人間の多様性です。 人々に関するデータが収集段階であっても客観性を失う可能性がある理由は数多くあります。 しかし、この問題が人々だけに影響を及ぼすとは考えないでください。倉庫の浸水やガスタービンの故障を検出しようとするときにも、まったく同じ問題が発生します。 肌の色に偏ったシステムもあれば、Siemens センサーに偏ったシステムもあるでしょう。
• このような問題は機械学習にとって新しいものではなく、機械学習に特有のものでもありません。 複雑な構造では誤った仮定が行われる可能性があり、特定の決定が行われた理由を理解することは常に困難です。 私たちは包括的な方法でこれに対抗する必要があります。検証のためのツールとプロセスを作成し、AI の推奨事項に盲目的に従わないようにユーザーを教育します。 機械学習は、人間よりもはるかに優れた処理を行うこともありますが、たとえば、犬は人間よりも薬物の検出においてはるかに効果的であり、それが犬を証人として使用し、その証言に基づいて判断を下す理由にはなりません。 ちなみに、犬はどんな機械学習システムよりもはるかに賢いのです。

機械学習は、今日最も重要な基礎技術トレンドの XNUMX つです。 これは、テクノロジーが今後 XNUMX 年間に私たちの周囲の世界を変える主な方法の XNUMX つです。 これらの変更には懸念を引き起こすいくつかの側面があります。 たとえば、労働市場に対する機械学習の潜在的な影響や、非倫理的な目的 (権威主義体制など) での機械学習の使用などです。 この投稿では別の問題にも対処しています。 人工知能の偏見.

これは簡単な話ではありません。

GoogleのAIは猫を見つけることができる。 2012 年のこのニュースは当時特別なものでした。

「AIバイアス」とは何ですか？

「生データ」というのは矛盾語であり、悪い考えです。 データは十分かつ慎重に準備する必要があります。 —ジェフリー・ボッカー

2013 年より前の時点では、たとえば写真内の猫を認識するシステムを作成するには、論理的な手順を記述する必要がありました。 画像内の角を見つける方法、目を認識する方法、毛皮のテクスチャを分析する方法、足を数える方法など。 次に、すべてのコンポーネントを組み合わせてみると、実際には機能しないことがわかります。 機械仕掛けの馬と同じように、理論的には作ることができますが、実際には説明するには複雑すぎます。 最終的には、数百 (または数千) の手書きルールが作成されます。 そして、実用的なモデルは XNUMX つもありません。

機械学習の出現により、私たちは特定のオブジェクトを認識するための「手動」ルールの使用をやめました。 代わりに、「これ」X のサンプルを XNUMX 個、「その他」Y のサンプルを XNUMX 個採取し、コンピューターにそれらの統計分析に基づいてモデルを構築させます。 次に、このモデルにサンプル データを与えると、モデルがいずれかのセットに適合するかどうかをある程度の精度で判断します。 機械学習は、人間がモデルを作成するのではなく、データからモデルを生成します。 その結果は、特に画像認識とパターン認識の分野で目覚ましいものであり、そのためテクノロジー業界全体が現在機械学習 (ML) に移行しつつあります。

しかし、それはそれほど単純ではありません。 現実の世界では、X または Y の何千もの例には、A、B、J、L、O、R、さらには L も含まれています。これらは均等に分散されていない可能性があり、一部が非常に頻繁に発生するため、システムがより多くの料金を支払う可能性があります。興味のあるものよりもそれらに注意を向けてください。

これは実際には何を意味するのでしょうか? 私のお気に入りの例は、画像認識システムが 草の茂った丘を見て「羊」と言う。 理由は明らかです。「羊」のサンプル写真のほとんどは、彼らが生息する牧草地で撮影されており、これらの画像では、草が小さな白い綿毛よりもはるかに多くのスペースを占めており、システムが最も重要であると見なしているのは草です。 。

もっと深刻な例もあります。 最近の一つ プロジェクト 写真から皮膚がんを検出します。 皮膚科医は、形成の大きさを記録するために、皮膚がんの症状とともに定規を撮影することが多いことが判明しました。 健康な肌のサンプル写真には定規はありません。 AI システムにとって、そのような定規 (より正確には「定規」として定義するピクセル) は、一連のサンプル間の違いの XNUMX つとなり、場合によっては皮膚の小さな発疹よりも重要になります。 そのため、皮膚がんを識別するために作成されたシステムは、代わりに定規を認識することがありました。

ここで重要な点は、システムは何を見ているのかを意味的に理解していないということです。 私たちは一連のピクセルを見て、その中に羊、皮、または定規を見ますが、システムは単なる数直線にすぎません。 彼女には XNUMX 次元空間が見えず、物体、テクスチャ、羊が見えません。 彼女は単にデータのパターンを認識しているだけです。

このような問題を診断する際の難しさは、ニューラル ネットワーク (機械学習システムによって生成されたモデル) が数千、数十万のノードで構成されていることです。 モデルを調べて、モデルがどのように意思決定を行うかを確認する簡単な方法はありません。 このような方法があるということは、プロセスが機械学習を使用せずにすべてのルールを手動で記述できるほど単純であることを意味します。 人々は、機械学習がブラックボックスのようなものになっているのではないかと心配しています。 (この比較がまだやりすぎである理由については、後ほど説明します。)

これは、一般的に言えば、人工知能または機械学習におけるバイアスの問題です。データ内のパターンを見つけるシステムが間違ったパターンを見つけても、ユーザーはそれに気付かない可能性があります。 これはこのテクノロジーの基本的な特性であり、学術界や大手テクノロジー企業でこのテクノロジーを扱うすべての人にとっては明らかです。 しかし、その結果は複雑であり、それらの結果に対する考えられる解決策も複雑です。

まず結果について話しましょう。

AI は、私たちに代わって、多数の知覚できない信号に基づいて、特定のカテゴリーの人々に有利な選択を行うことができます。

AI バイアスのシナリオ

最も明白かつ恐ろしいことは、この問題が人間の多様性に関して現れる可能性があることです。 最近 噂がありましたアマゾンは求職者の最初のスクリーニングのための機械学習システムを構築しようとしたという。 アマゾンの従業員には男性が多いため、「採用に成功した」例も男性の方が多く、システムが提案する履歴書の選考でも男性の方が多かった。 Amazon はこれに気づき、システムを実稼働環境にリリースしませんでした。

この例で最も重要なことは、履歴書に性別が明記されていないにもかかわらず、このシステムは男性の応募者を優遇するという噂があったことだ。 このシステムでは、「良い採用者」の例として他のパターンも確認されました。たとえば、女性は業績を説明するために特別な言葉を使ったり、特別な趣味を持ったりする可能性があります。 もちろん、システムは「ホッケー」が何であるか、「人々」が何であるか、「成功」が何であるかを知りませんでした。単にテキストの統計分析を実行しただけです。 しかし、彼女が見たパターンは人間には気づかれない可能性が高く、その一部（たとえば、性別が違えば成功についての表現が異なるという事実など）は、たとえ私たちが見ても理解するのは難しいでしょう。

さらに悪いことに。 機械学習システムは、白い肌のがんを見つけるのに非常に優れていますが、黒い肌ではうまく機能しない可能性があり、またその逆も同様です。 必ずしも偏見のためではありませんが、おそらく、異なる肌の色に対して別のモデルを構築し、異なる特性を選択する必要があるためです。 機械学習システムは、画像認識のような狭い領域であっても互換性はありません。 必要な精度が得られるまで、関心のあるデータの特徴を適切に把握するには、場合によっては試行錯誤しながらシステムを微調整する必要があります。 しかし、あなたは気づかないかもしれませんが、このシステムは、一方のグループでは 98% の確率で正確ですが、もう一方のグループでは 91% しか正確ではありません (人間の分析よりもさらに正確です)。

これまで、主に人とその特性に関する例を取り上げてきました。 この問題に関する議論は主にこのトピックに焦点を当てています。 しかし、人々に対する偏見は問題の一部にすぎないことを理解することが重要です。 私たちは多くのことに機械学習を使用することになりますが、サンプリング誤差はそれらすべてに関係します。 一方、人々と協力している場合は、データの偏りが彼らに関係していない可能性があります。

これを理解するために、皮膚がんの例に戻り、システム障害の XNUMX つの仮説の可能性を考えてみましょう。

1. 人々の不均一な分布: 異なる肌の色調の写真の数が不均衡であり、色素沈着による偽陽性または偽陰性が発生します。
2. システムのトレーニングに使用されるデータには、人間とは関連がなく、診断価値のない、頻繁に発生し不均一に分散された特徴が含まれています。たとえば、皮膚がんの写真の定規や羊の写真の草などです。 この場合、人間の目で「定規」と認識されるものの画像内でシステムがピクセルを検出すると、結果は異なります。
3. データには、人間が探しても見ることができない第三者の特徴が含まれています。

それはどういう意味ですか？ 私たちは、データが異なる人々のグループを異なる方法で表す可能性があることを先験的に知っており、少なくともそのような例外を探す計画を立てることができます。 言い換えれば、人々のグループに関するデータにはすでに何らかのバイアスが含まれていると想定する社会的理由がたくさんあるということです。 定規のある写真を見ると、この定規が表示されます。私たちは以前はそれが重要ではないことを知り、システムが何も知らないことを忘れて、単に無視していました。

しかし、不健康な肌の写真がすべてオフィスで白熱灯の下で撮影され、健康な肌が蛍光灯の下で撮影された場合はどうなるでしょうか? 健康な肌の撮影を終えた後、不健康な肌を撮影する前に、携帯電話のオペレーティング システムを更新し、Apple または Google がノイズ リダクション アルゴリズムをわずかに変更した場合はどうなるでしょうか? そのような特徴をいくら探しても、人はこれに気づくことができません。 しかし、機械使用システムはこれをすぐに認識して使用します。 彼女は何も知りません。

ここまで偽の相関について説明してきましたが、データは正確で結果は正しいが、倫理的、法的、または管理上の理由でそれらを使用したくない場合もあります。 たとえば、一部の管轄区域では、女性の方が安全運転であるにもかかわらず、女性が保険の割引を受けることを認めていません。 過去のデータを分析するときに、女性の名前に低いリスク因子を割り当てるシステムを容易に想像できます。 さて、選択から名前を削除しましょう。 しかし、アマゾンの例を思い出してください。システムは他の要素に基づいて性別を決定することができます（たとえ性別が何であるか、車が何であるかさえ知りません）。規制当局が遡って料金を分析するまで、これに気付かないでしょう。罰金を科せられると申し出て請求します。

最後に、このようなシステムは人々や社会的交流が関わるプロジェクトにのみ使用すると思われがちです。 これは間違っています。 ガス タービンを製造する場合は、製品上の数十または数百のセンサーによって送信されるテレメトリに機械学習を適用することになるでしょう (音声、ビデオ、温度、その他のセンサーは、機械の作成に非常に簡単に適合できるデータを生成します)学習モデル）。 仮説として、次のように言うことができます。「これは、故障する前に故障した 75 台のタービンからのデータであり、故障しなかった 12 台のタービンからのデータです。 両者の違いを示すモデルを構築してください。」 さて、シーメンスのセンサーが不良タービンの XNUMX% に取り付けられており、正常なタービンには XNUMX% のみに取り付けられていると想像してください (故障とは関係ありません)。 このシステムは、シーメンスのセンサーを備えたタービンを見つけるためのモデルを構築します。 おっとっと！

写真 — モーリッツ・ハート、カリフォルニア大学バークレー校

AI バイアスの管理

それについて何ができるでしょうか? この問題には次の XNUMX つの角度からアプローチできます。

1. システムをトレーニングするためのデータの収集と管理における方法論的な厳密さ。
2. モデルの動作を分析および診断するための技術ツール。
3. 機械学習を製品に実装する場合は、トレーニング、教育を行い、注意してください。

モリエールの著書『貴族の中のブルジョワ』にはジョークがあります。ある男性は、文学は散文と詩に分けられると聞かされ、自分が気づかずにずっと散文で話していたことを発見して喜んだのです。 これはおそらく今日の統計学者が感じていることです。彼らは気づかないうちに、人工知能と標本誤差にキャリアを捧げてきました。 サンプリング誤差を探して心配することは新しい問題ではありません。体系的にその解決策にアプローチする必要があるだけです。 上で述べたように、場合によっては、人物データに関連する問題を研究することで、実際にこれを行う方が簡単になることがあります。 私たちは、さまざまな人々のグループに対して偏見を持っているかもしれないとアプリオリに想定していますが、シーメンスのセンサーについて偏見を持つことを想像することさえ困難です。

もちろん、これらすべてに関して新しいことは、人々が直接統計分析を行わなくなったことです。 これは、理解するのが難しい大規模で複雑なモデルを作成するマシンによって実行されます。 透明性の問題は、偏見の問題の主要な側面の XNUMX つです。 私たちは、システムに偏りがあるだけではなく、その偏りを検出する方法がないこと、そして機械学習が、テスト可能な明確な論理ステップで構成されているはずの他の形式の自動化とは異なることを懸念しています。

ここには XNUMX つの問題があります。 今後も機械学習システムに対して何らかの監査を実施できる可能性があります。 そして、他のシステムを監査することは実際には簡単ではありません。

まず、機械学習分野における現代研究の方向性の XNUMX つは、機械学習システムの重要な機能を特定する方法の探索です。 とはいえ、機械学習（現状では）は急速に変化しているまったく新しい科学分野であるため、現在不可能であることがすぐに現実になるとは考えないでください。 プロジェクト OpenAI - これの興味深い例。

第二に、既存のシステムや組織の意思決定プロセスをテストして理解できるというアイデアは、理論的には優れていますが、実際にはまあまあです。 大規模な組織で意思決定がどのように行われるかを理解するのは簡単ではありません。 たとえ正式な意思決定プロセスがあったとしても、それは人々が実際にどのように対話するかを反映しておらず、彼ら自身も意思決定を行うための論理的かつ体系的なアプローチを持っていないことがよくあります。 私の同僚が言ったように ビジェイ・パンデ, 人もブラックボックスだ.

重複する複数の企業や機関に XNUMX 人が所属すると、問題はさらに複雑になります。 私たちは、スペースシャトルが帰還時に解散する運命にあったことを事後的に知り、NASA 内部の人々は何か悪いことが起こるかもしれないと考える理由となる情報を持っていましたが、システムは 一般に これは知りませんでした。 NASA は、以前のシャトルを失った後、同様の監査に合格したばかりですが、非常に似た理由で別のシャトルを失いました。 組織や人々は、テスト、理解、変更できる明確で論理的なルールに従っていると主張するのは簡単ですが、そうではないことは経験が証明しています。 これ "ゴスプランの妄想'。

私はよく機械学習をデータベース、特にリレーショナル データベースと比較します。データベースは、コンピューター サイエンスとその周囲の世界の能力を変えた新しい基本テクノロジーであり、私たちが気づかずに常に使用しているすべてのものの一部となっています。 データベースにも問題はありますが、それらは同様の性質を持っています。システムは間違った仮定や間違ったデータに基づいて構築されている可能性がありますが、それに気づくのは難しく、システムを使用する人々は質問することなくシステムの指示に従ってしまいます。 かつてあなたの名前のスペルを間違えた税務官に関する古いジョークはたくさんありますが、間違いを修正するよう説得するのは、実際に名前を変更するよりもはるかに困難です。 これについてはさまざまな考え方がありますが、SQL の技術的な問題として考えるのか、Oracle リリースのバグとして考えるのか、それとも官僚組織の失敗として考えるのか、どれが良いのかは明確ではありません。 システムにタイプミス修正機能が備わっていない原因となっているプロセス内のバグを見つけるのはどのくらい難しいでしょうか? 人々が苦情を言い始める前に、これは理解できたでしょうか?

この問題は、ナビゲーターのデータが古いためにドライバーが川に突っ込んだ場合の事例でさらに簡単に説明されます。 そうですね、地図は常に更新する必要があります。 しかし、あなたの車が海に吹き飛ばされたことについて、トムトムはどれだけの責任があるのでしょうか?

私がこのように言う理由は、確かに、機械学習のバイアスが問題を引き起こすからです。 しかし、これらの問題は私たちが過去に直面した問題と似ており、以前と同じくらいうまく気づくことができ、解決できる（またはできない）可能性があります。 したがって、AI のバイアスが害を及ぼすシナリオは、大規模な組織で働く上級研究者には起こりそうにありません。 おそらく、取るに足らない技術請負業者やソフトウェア ベンダーが、理解できないオープン ソース コンポーネント、ライブラリ、ツールを使用して、自分たちで何かを作成するでしょう。 そして、不運なクライアントは、製品説明にある「人工知能」というフレーズを購入し、何の質問もせずにそれを低賃金の従業員に配布し、AIの言うとおりにするように命令します。 これはまさにデータベースで起こったことです。 これは人工知能の問題でも、ソフトウェアの問題でもありません。 これは人的要因です。

まとめ

機械学習は犬に教えられることなら何でもできますが、犬に何を教えたかを正確に知ることはできません。

「人工知能」という言葉は、このような会話の邪魔になるだけだと感じることがよくあります。 この用語は、私たちが実際にこの知性を創造したという誤った印象を与えます。 私たちは HAL9000 またはスカイネットに向かっています - 実際に 理解する。 しかし、そうではありません。 これらは単なる機械であり、たとえば洗濯機と比較する方がはるかに正確です。 彼女は人間よりもはるかに上手に洗濯をしますが、洗濯物の代わりに食器を彼女の中に入れれば、彼女はそれを洗ってくれます。 食器もきれいになります。 しかし、これはあなたが期待したものではありません。システムには料理に関する偏見があるため、これは起こりません。 洗濯機は食器が何であるか、衣類が何であるかを知りません。これは単なる自動化の一例であり、概念的には以前のプロセスの自動化と何ら変わりません。

車であれ、飛行機であれ、データベースであれ、これらのシステムは非常に強力であると同時に、非常に制限されます。 それは、人々がこれらのシステムをどのように使用するか、その意図が良いか悪いか、そしてその仕組みをどの程度理解しているかに完全に依存します。

したがって、「人工知能は数学なのでバイアスがあり得ない」というのは完全に誤りです。 しかし、機械学習が「本質的に主観的」であると言うのも同様に誤りです。 機械学習はデータ内のパターンを見つけますが、どのようなパターンが見つかるかはデータによって決まり、データは私たちに依存します。 私たちが彼らに対してやっているのと同じように。 機械学習は、人間よりもはるかに優れた処理を行うこともありますが、たとえば、犬は人間よりも薬物の検出においてはるかに効果的であり、それが犬を証人として使用し、その証言に基づいて判断を下す理由にはなりません。 ちなみに、犬はどんな機械学習システムよりもはるかに賢いのです。

翻訳： ダイアナ・レツカヤ.
編集： アレクセイ・イワノフ.
コミュニティ： @ぽんちくニュース.

出所： habr.com