인공지능 편견에 대하여

TL; DR :

• 머신러닝은 데이터에서 패턴을 찾습니다. 그러나 인공 지능은 "편향"될 수 있습니다. 즉, 잘못된 패턴을 찾아낼 수 있습니다. 예를 들어 사진 기반 피부암 감지 시스템은 진료실에서 촬영한 이미지에 특별한 주의를 기울일 수 있습니다. 머신러닝은 할 수 없다 이해하기: 알고리즘은 숫자의 패턴만 식별하며, 데이터가 대표성이 없으면 처리 결과도 대표성을 갖습니다. 그리고 기계 학습의 메커니즘 자체로 인해 이러한 버그를 잡는 것이 어려울 수 있습니다.
• 가장 명백하고 어려운 문제 영역은 인간의 다양성입니다. 사람에 관한 데이터가 수집 단계에서도 객관성을 잃을 수 있는 데에는 여러 가지 이유가 있습니다. 하지만 이 문제가 사람에게만 영향을 미친다고 생각하지 마십시오. 창고의 홍수나 고장난 가스 터빈을 감지하려고 할 때에도 똑같은 어려움이 발생합니다. 일부 시스템은 피부색에 편향될 수 있고 다른 시스템은 Siemens 센서에 편향될 수 있습니다.
• 이러한 문제는 머신러닝에 새로운 것이 아니며 머신러닝만의 고유한 문제도 아닙니다. 복잡한 구조에서는 잘못된 가정이 이루어지며 특정 결정이 내려진 이유를 이해하는 것은 항상 어렵습니다. 우리는 포괄적인 방법으로 이 문제에 대처해야 합니다. 즉, 검증을 위한 도구와 프로세스를 만들고 사용자가 AI 권장 사항을 맹목적으로 따르지 않도록 교육해야 합니다. 기계 학습은 우리가 할 수 있는 것보다 몇 가지 일을 훨씬 더 잘 수행합니다. 하지만 예를 들어 개는 마약을 탐지하는 데 인간보다 훨씬 더 효과적입니다. 이는 개를 증인으로 삼고 그들의 증언을 바탕으로 판단을 내릴 이유가 되지 않습니다. 그런데 개는 어떤 기계 학습 시스템보다 훨씬 똑똑합니다.

머신러닝은 오늘날 가장 중요한 기본 기술 트렌드 중 하나입니다. 이는 기술이 향후 XNUMX년 동안 우리 주변의 세상을 변화시킬 주요 방법 중 하나입니다. 이러한 변화의 일부 측면은 우려할 만한 원인입니다. 예를 들어 기계 학습이 노동 시장에 미치는 잠재적 영향이나 비윤리적 목적(예: 권위주의 정권)으로의 사용 등이 있습니다. 이 게시물에서 다루는 또 다른 문제는 다음과 같습니다. 인공지능 편향.

이것은 쉬운 이야기가 아닙니다.

Google의 AI는 고양이를 찾을 수 있습니다. 2012년의 이 소식은 그 당시에는 특별했습니다.

"AI 바이어스"란 무엇입니까?

"원시 데이터"는 모순적이며 나쁜 생각입니다. 데이터는 잘 준비되고 신중하게 준비되어야 합니다. —제프리 보커

2013년 이전에는 사진 속의 고양이를 인식하는 시스템을 만들기 위해서는 논리적인 단계를 설명해야 했습니다. 이미지에서 모서리를 찾는 방법, 눈을 인식하는 방법, 털의 질감을 분석하는 방법, 발 수를 세는 방법 등이 있습니다. 그런 다음 모든 구성 요소를 함께 모아서 실제로 작동하지 않는다는 것을 발견하십시오. 기계 말과 매우 흡사합니다. 이론적으로는 만들 수 있지만 실제로는 설명하기가 너무 복잡합니다. 최종 결과는 수백(또는 수천) 개의 손으로 쓴 규칙입니다. 그리고 단일 작업 모델이 아닙니다.

기계 학습의 출현으로 우리는 특정 객체를 인식하기 위해 "수동" 규칙을 사용하는 것을 중단했습니다. 대신에 우리는 "이것"(X)의 샘플 XNUMX개, "기타(Other)"의 샘플 XNUMX개(Y)를 취하고 컴퓨터가 통계 분석을 기반으로 모델을 구축하도록 합니다. 그런 다음 이 모델에 몇 가지 샘플 데이터를 제공하고 세트 중 하나에 맞는지 어느 정도 정확하게 결정합니다. 머신러닝은 사람이 작성하는 것이 아닌 데이터에서 모델을 생성합니다. 특히 이미지 및 패턴 인식 분야에서 그 결과는 인상적이며, 이것이 바로 기술 산업 전체가 이제 머신러닝(ML)으로 전환하고 있는 이유입니다.

그러나 그렇게 간단하지는 않습니다. 실제 세계에서는 X 또는 Y의 수천 가지 예에 A, B, J, L, O, R, 심지어 L도 포함됩니다. 이러한 것들은 고르게 분포되지 않을 수 있으며 일부는 너무 자주 발생하여 시스템이 더 많은 비용을 지불하게 될 수 있습니다. 당신이 관심을 갖는 대상보다 그것들에 주의를 기울이십시오.

이것이 실제로 무엇을 의미합니까? 제가 가장 좋아하는 예는 이미지 인식 시스템입니다. 풀이 무성한 언덕을 보고 "양"이라고 말하세요. 그 이유는 분명합니다. "양"의 예시 사진은 대부분 그들이 살고 있는 초원에서 촬영되었으며, 이러한 이미지에서 잔디는 작은 흰색 솜털보다 훨씬 더 많은 공간을 차지하며 시스템이 가장 중요하게 간주하는 것은 잔디입니다. .

더 심각한 예가 있습니다. 최근 하나 계획 사진에서 피부암을 발견하기 위해. 피부과 전문의는 형성의 크기를 기록하기 위해 피부암의 증상과 함께 통치자의 사진을 찍는 경우가 많다는 것이 밝혀졌습니다. 건강한 피부의 예시 사진에는 자가 없습니다. AI 시스템의 경우 이러한 눈금자(보다 정확하게는 "눈금자"로 정의하는 픽셀)는 예제 세트 간의 차이점 중 하나가 되었으며 때로는 피부의 작은 발진보다 더 중요합니다. 따라서 피부암을 식별하기 위해 만들어진 시스템은 때때로 통치자를 대신 인식했습니다.

여기서 중요한 점은 시스템이 보고 있는 내용에 대한 의미론적 이해가 없다는 것입니다. 우리는 일련의 픽셀을 보고 그 안에 양, 가죽 또는 눈금자를 보지만 시스템은 단지 수직선일 뿐입니다. 그녀는 XNUMX차원 공간을 보지 못하고 사물, 질감, 양을 보지 못합니다. 그녀는 단순히 데이터의 패턴을 봅니다.

이러한 문제를 진단하기 어려운 점은 신경망(머신러닝 시스템에서 생성된 모델)이 수천, 수십만 개의 노드로 구성되어 있다는 것입니다. 모델을 살펴보고 모델이 어떻게 결정을 내리는지 쉽게 확인할 수 있는 방법은 없습니다. 이러한 방식을 사용한다는 것은 기계 학습을 사용하지 않고도 모든 규칙을 수동으로 설명할 수 있을 만큼 프로세스가 간단하다는 것을 의미합니다. 사람들은 머신러닝이 일종의 블랙박스가 되었다고 걱정합니다. (이 비교가 여전히 너무 많은 이유는 나중에 조금 설명하겠습니다.)

이는 일반적으로 인공 지능이나 기계 학습의 편향 문제입니다. 데이터에서 패턴을 찾는 시스템이 잘못된 패턴을 찾아도 이를 알아차리지 못할 수 있습니다. 이는 기술의 근본적인 특성이며 학계와 거대 기술 회사에서 해당 기술을 사용하는 모든 사람에게 분명합니다. 그러나 그 결과는 복잡하며, 그러한 결과에 대한 가능한 해결책도 복잡합니다.

먼저 결과에 대해 이야기합시다.

AI는 우리가 인지할 수 없는 수많은 신호를 기반으로 암묵적으로 특정 범주의 사람들에게 유리한 선택을 내릴 수 있습니다.

AI 편견 시나리오

가장 명백하고 무서운 것은 이 문제가 인간의 다양성과 관련하여 나타날 수 있다는 것입니다. 최근에 소문이 났어요아마존이 구직자의 초기 심사를 위해 머신러닝 시스템을 구축하려 했다는 것이다. 아마존 근로자 중에는 남성이 많기 때문에 '성공적인 채용' 사례도 남성인 경우가 많고, 시스템이 제시하는 이력서 선정에도 남성이 더 많았다. Amazon은 이를 인지하고 시스템을 프로덕션 환경으로 출시하지 않았습니다.

이 예에서 가장 중요한 것은 이력서에 성별이 명시되지 않았음에도 불구하고 시스템이 남성 지원자를 선호한다는 소문이 돌았다는 것입니다. 시스템은 "좋은 채용"의 예에서 다른 패턴을 발견했습니다. 예를 들어 여성은 성취를 설명하기 위해 특별한 단어를 사용하거나 특별한 취미를 가질 수 있습니다. 물론 시스템은 "하키"가 무엇인지, "사람"이 누구인지, "성공"이 무엇인지 알지 못했습니다. 단순히 텍스트에 대한 통계 분석을 수행했습니다. 그러나 그녀가 본 패턴은 인간이 알아채지 못할 가능성이 높으며, 그 중 일부(예를 들어 성별이 다른 사람들이 성공을 다르게 설명한다는 사실)는 아무리 봐도 우리가 알아차리기 어려울 것입니다.

더 - 더 나쁘다. 창백한 피부에서 암을 찾는 데 매우 효과적인 기계 학습 시스템은 어두운 피부에서는 제대로 작동하지 않을 수 있으며, 그 반대의 경우도 마찬가지입니다. 반드시 편견 때문은 아니지만, 서로 다른 특성을 선택하여 서로 다른 피부색에 대해 별도의 모델을 구축해야 할 수도 있기 때문입니다. 머신러닝 시스템은 이미지 인식처럼 좁은 영역에서도 상호 교환이 불가능합니다. 원하는 정확도에 도달할 때까지 관심 있는 데이터의 기능을 잘 처리하려면 때로는 시행착오를 거쳐 시스템을 조정해야 합니다. 그러나 여러분이 눈치채지 못할 수도 있는 점은 시스템이 한 그룹에서는 98%의 정확성을 갖고, 다른 그룹에서는 91%(인간 분석보다 훨씬 더 정확함)만 정확하다는 것입니다.

지금까지 나는 주로 사람과 그들의 특성과 관련된 예를 사용했습니다. 이 문제에 대한 논의는 주로 이 주제에 중점을 둡니다. 그러나 사람에 대한 편견은 문제의 일부일 뿐이라는 점을 이해하는 것이 중요합니다. 우리는 많은 일에 기계 학습을 사용할 것이며 샘플링 오류는 모든 일과 관련이 있습니다. 반면에 사람들과 함께 작업하는 경우 데이터의 편향이 그들과 관련이 없을 수도 있습니다.

이를 이해하기 위해 피부암 사례로 돌아가서 시스템 오류에 대한 세 가지 가상 가능성을 고려해 보겠습니다.

1. 사람들의 이질적인 분포: 서로 다른 피부색의 불균형한 수의 사진으로 인해 색소 침착으로 인해 위양성 또는 위음성이 발생합니다.
2. 시스템이 훈련된 데이터에는 사람과 관련이 없고 진단 가치도 없는 자주 발생하고 이질적으로 분포된 특징이 포함되어 있습니다. 즉, 피부암 사진의 자 또는 양 사진의 풀입니다. 이 경우 시스템이 인간의 눈이 "눈금자"로 식별하는 이미지에서 픽셀을 찾으면 결과가 달라집니다.
3. 데이터에는 사람이 찾아봐도 알 수 없는 제XNUMX자의 특성이 담겨 있습니다.

무슨 뜻이에요? 우리는 데이터가 서로 다른 그룹의 사람들을 다르게 나타낼 수 있다는 점을 선험적으로 알고 있으며 최소한 그러한 예외를 찾을 계획을 세울 수 있습니다. 즉, 특정 집단에 대한 데이터에 이미 어느 정도 편견이 포함되어 있다고 가정하는 사회적 이유가 많이 있습니다. 눈금자를 사용하여 사진을 보면 이 눈금자를 볼 수 있습니다. 이전에는 중요하지 않다는 것을 알고 시스템이 아무것도 모른다는 사실을 잊어 버리고 무시했습니다.

하지만 건강에 해로운 피부 사진을 모두 사무실의 백열등 아래에서 촬영하고, 건강한 피부의 사진을 형광등 아래에서 촬영했다면 어떨까요? 만약 건강한 피부 촬영을 마친 후, 건강하지 못한 피부 촬영을 하기 전에 휴대폰 운영체제를 업데이트했는데, 애플이나 구글이 노이즈 감소 알고리즘을 살짝 변경했다면 어떨까요? 그러한 특징을 아무리 찾아도 사람은 이것을 알아차릴 수 없습니다. 그러나 기계 사용 시스템은 이를 즉시 보고 사용할 것입니다. 그녀는 아무것도 모릅니다.

지금까지 허위 상관 관계에 대해 이야기했지만 데이터가 정확하고 결과도 정확하지만 윤리적, 법적 또는 관리상의 이유로 사용하고 싶지 않을 수도 있습니다. 예를 들어, 일부 관할권에서는 여성이 더 안전한 운전자임에도 불구하고 여성이 보험 할인을 받는 것을 허용하지 않습니다. 과거 데이터를 분석할 때 여성 이름에 더 낮은 위험 요소를 할당하는 시스템을 쉽게 상상할 수 있습니다. 좋습니다. 선택 항목에서 이름을 제거하겠습니다. 그러나 Amazon의 예를 기억하십시오. 시스템은 다른 요소를 기반으로 성별을 결정할 수 있으며(성별이 무엇인지, 심지어 자동차가 무엇인지 모르더라도) 규제 기관이 관세를 소급하여 분석할 때까지 이를 알 수 없습니다. 제안하고 요금을 부과하면 벌금이 부과됩니다.

마지막으로, 우리는 사람과 사회적 상호 작용이 관련된 프로젝트에만 이러한 시스템을 사용할 것이라고 종종 가정합니다. 이것은 잘못된 것입니다. 가스 터빈을 만드는 경우 제품에 있는 수십 또는 수백 개의 센서(오디오, 비디오, 온도 및 기타 센서는 기계를 만드는 데 매우 쉽게 적용할 수 있는 데이터를 생성함)에서 전송되는 원격 측정에 기계 학습을 적용하고 싶을 것입니다. 학습 모델). 가정적으로 다음과 같이 말할 수 있습니다. “여기에 고장이 나기 전에 고장난 천 개의 터빈에서 나온 데이터가 있고, 여기에 고장이 나지 않은 천 개의 터빈에서 나온 데이터가 있습니다. 그들 사이의 차이점이 무엇인지 알려주는 모델을 구축하세요.” 자, 이제 Siemens 센서가 불량 터빈의 75%에 설치되고 양호한 터빈의 12%에만 설치되었다고 상상해 보십시오(고장과 관련이 없음). 시스템은 Siemens 센서를 사용하여 터빈을 찾는 모델을 구축합니다. 이런!

사진 — 모리츠 하트(UC Berkeley)

AI 편견 관리

이에 대해 우리는 무엇을 할 수 있나요? 다음 세 가지 각도에서 문제에 접근할 수 있습니다.

1. 시스템 교육을 위한 데이터 수집 및 관리의 방법론적 엄격성.
2. 모델 동작을 분석하고 진단하기 위한 기술 도구입니다.
3. 기계 학습을 제품에 구현할 때 훈련하고 교육하고 주의를 기울이십시오.

몰리에르의 책 "귀족 속의 부르주아"에는 다음과 같은 농담이 있습니다. 한 사람은 문학이 산문과 시로 나누어진다는 말을 들었고, 자신도 모르게 평생 산문으로 말해왔다는 사실을 알고 기뻐했습니다. 이것은 아마도 오늘날 통계학자들이 느끼는 감정일 것입니다. 그들은 자신도 모르게 인공 지능과 샘플링 오류에 자신의 경력을 바쳤습니다. 샘플링 오류를 찾고 걱정하는 것은 새로운 문제가 아니며, 그 해결책에 체계적으로 접근하면 됩니다. 위에서 언급했듯이 어떤 경우에는 사람 데이터와 관련된 문제를 연구함으로써 이를 수행하는 것이 실제로 더 쉽습니다. 우리는 선험적으로 다양한 그룹의 사람들에 대해 편견을 가질 수 있다고 가정하지만 Siemens 센서에 대한 편견을 상상하기조차 어렵습니다.

물론 이 모든 것에서 새로운 점은 사람들이 더 이상 통계 분석을 직접 수행하지 않는다는 것입니다. 이는 이해하기 어려운 크고 복잡한 모델을 만드는 기계에 의해 수행됩니다. 투명성 문제는 편견 문제의 주요 측면 중 하나입니다. 우리는 시스템이 단지 편향되어 있는 것이 아니라 편향을 감지할 방법이 없으며, 머신러닝이 테스트할 수 있는 명확한 논리적 단계로 구성되어야 하는 다른 형태의 자동화와 다르다는 점을 두려워합니다.

여기에는 두 가지 문제가 있습니다. 우리는 여전히 기계 학습 시스템에 대한 일종의 감사를 수행할 수 있습니다. 그리고 다른 시스템을 감사하는 것은 실제로 쉽지 않습니다.

첫째, 기계 학습 분야의 현대 연구 방향 중 하나는 기계 학습 시스템의 중요한 기능을 식별하는 방법을 찾는 것입니다. 즉, 기계 학습(현재 상태)은 빠르게 변화하는 완전히 새로운 과학 분야이므로 오늘날 불가능한 일이 곧 현실화될 수 없다고 생각하지 마십시오. 프로젝트 OpenAI 이것에 대한 흥미로운 예입니다.

둘째, 기존 시스템이나 조직의 의사결정 과정을 테스트하고 이해할 수 있다는 생각은 이론적으로는 좋지만 실제로는 그렇습니다. 대규모 조직에서 의사결정이 어떻게 이루어지는지 이해하는 것은 쉽지 않습니다. 공식적인 의사결정 과정이 있더라도 사람들이 실제로 어떻게 상호작용하는지를 반영하지 못하고, 그들 스스로도 의사결정에 논리적이고 체계적인 접근 방식을 갖고 있지 않은 경우가 많습니다. 내 동료가 말했듯이 비제이 판데, 사람도 블랙박스다.

여러 개의 중복된 회사와 기관에 천 명을 고용하면 문제는 더욱 복잡해집니다. 우리는 우주왕복선이 돌아오자마자 해체될 운명이었다는 사실과 NASA 내부의 개인들이 뭔가 나쁜 일이 일어날 수 있다고 생각할 이유를 제공하는 정보를 가지고 있다는 사실을 알고 있지만 시스템은 일반적으로 나는 이것을 몰랐다. NASA는 이전 셔틀을 분실한 후 비슷한 감사를 받았지만 매우 비슷한 이유로 또 다른 셔틀을 잃었습니다. 조직과 사람들이 테스트하고, 이해하고, 변경할 수 있는 명확하고 논리적인 규칙을 따른다고 주장하기는 쉽지만, 경험에 따르면 그렇지 않습니다. 이것 "고스플란의 망상".

나는 종종 기계 학습을 데이터베이스, 특히 관계형 데이터베이스와 비교합니다. 이는 컴퓨터 과학과 그 주변 세계의 기능을 변화시킨 새로운 기본 기술로, 우리가 깨닫지 못한 채 끊임없이 사용하는 모든 것의 일부가 되었습니다. 데이터베이스에도 문제가 있으며 비슷한 성격을 갖고 있습니다. 시스템은 잘못된 가정이나 잘못된 데이터를 기반으로 구축될 수 있지만 이를 알아차리기 어려울 것이며 시스템을 사용하는 사람들은 질문하지 않고 시스템이 지시하는 대로 수행합니다. 한때 귀하의 이름을 잘못 입력한 세금 담당자에 대한 오래된 농담이 많이 있으며, 실수를 수정하도록 설득하는 것은 실제로 이름을 바꾸는 것보다 훨씬 어렵습니다. 이에 대해 생각하는 방법은 많지만 SQL의 기술적 문제, Oracle 릴리스의 버그, 관료적 기관의 실패 중 어느 것이 더 나은지는 확실하지 않습니다. 오타 수정 기능이 없는 시스템을 초래한 프로세스에서 버그를 찾는 것이 얼마나 어렵습니까? 사람들이 불평하기 전에 이 사실을 알아낼 수 있었을까요?

이 문제는 내비게이터의 오래된 데이터로 인해 운전자가 강으로 운전하는 경우의 이야기를 통해 훨씬 더 간단하게 설명됩니다. 좋습니다. 지도는 지속적으로 업데이트되어야 합니다. 하지만 당신의 차가 바다로 날아간 것에 대해 TomTom의 책임은 얼마입니까?

제가 이렇게 말하는 이유는 그렇습니다. 기계 학습 편견이 문제를 일으킬 것이기 때문입니다. 그러나 이러한 문제는 과거에 우리가 직면했던 문제와 유사할 것이며, 과거에 우리가 할 수 있었던 것과 마찬가지로 인지하고 해결할 수 있습니다(또는 그렇지 않을 수도 있음). 따라서 AI 편견이 해를 끼치는 시나리오는 대규모 조직에서 일하는 선임 연구원에게 일어날 가능성이 낮습니다. 대부분의 경우 일부 중요하지 않은 기술 계약자나 소프트웨어 공급업체는 자신이 이해하지 못하는 오픈 소스 구성 요소, 라이브러리 및 도구를 사용하여 무릎을 꿇고 무언가를 작성할 것입니다. 그리고 불운한 고객은 제품 설명에 '인공지능'이라는 문구를 사서 아무런 질문도 하지 않고 이를 저임금 직원들에게 배포하여 AI가 말하는 대로 하라고 명령할 것입니다. 이것이 바로 데이터베이스에서 일어난 일입니다. 이는 인공지능의 문제도 아니고 소프트웨어의 문제도 아닙니다. 이것이 인적 요소입니다.

결론

기계 학습은 개에게 가르칠 수 있는 모든 것을 할 수 있지만, 개에게 정확히 무엇을 가르쳤는지는 확신할 수 없습니다.

나는 종종 "인공지능"이라는 용어가 이런 대화에만 방해가 된다는 느낌을 받습니다. 이 용어는 우리가 실제로 지능을 만들었다는 잘못된 인상을 줍니다. 우리는 HAL9000이나 Skynet으로 가는 중입니다. 이해하다. 하지만. 이것들은 단지 기계일 뿐이며, 예를 들어 세탁기와 비교하는 것이 훨씬 더 정확합니다. 인간보다 빨래를 훨씬 잘하는데, 빨래 대신 접시를 넣으면... 설거지를 해준다. 설거지도 깨끗해집니다. 하지만 이는 여러분이 기대했던 것과는 다르며, 시스템이 요리에 대한 편견을 갖고 있기 때문에 이런 일은 일어나지 않을 것입니다. 세탁기는 접시가 무엇인지, 옷이 무엇인지 알지 못합니다. 이는 자동화의 한 예일 뿐이며 개념적으로는 이전에 프로세스가 자동화되었던 방식과 다르지 않습니다.

자동차, 비행기 또는 데이터베이스에 관해 이야기하든 이러한 시스템은 매우 강력하면서도 매우 제한적입니다. 이는 사람들이 이러한 시스템을 어떻게 사용하는지, 의도가 좋은지 나쁜지, 작동 방식을 얼마나 이해하는지에 전적으로 달려 있습니다.

그러므로 “인공지능은 수학이므로 편견을 가질 수 없다”는 말은 완전히 거짓이다. 그러나 머신러닝이 "본질상 주관적"이라고 말하는 것도 마찬가지로 거짓입니다. 머신러닝은 데이터에서 패턴을 찾고, 어떤 패턴을 찾는지는 데이터에 따라 다르며, 데이터는 우리에게 달려 있습니다. 우리가 그들에게 하는 것과 똑같습니다. 기계 학습은 우리가 할 수 있는 것보다 몇 가지 일을 훨씬 더 잘 수행합니다. 하지만 예를 들어 개는 마약을 탐지하는 데 인간보다 훨씬 더 효과적입니다. 이는 개를 증인으로 삼고 그들의 증언을 바탕으로 판단을 내릴 이유가 되지 않습니다. 그런데 개는 어떤 기계 학습 시스템보다 훨씬 똑똑합니다.

번역 : 다이애나 레츠카야.
편집: 알렉세이 이바노프.
지역 사회: @PonchikNews.

출처 : habr.com