🥇За предразсъдъците на изкуствения интелект

tl;dr:

Машинното обучение търси закономерности в данните. Но изкуственият интелект може да бъде "предубеден" — тоест, да открива неверни патерни. Например, система за откриване на рак на кожата по снимка може да обръща особено внимание на изображения, направени в лекарски кабинет. Машинното обучение не разбира разбиране: алгоритмите му просто откриват закономерности в числата и ако данните не са представителни, такъв ще бъде и резултатът от обработката им. А улавянето на такива проблеми може да бъде сложно поради самата механика на машинното обучение.
Най-очевидната и плашеща проблемна област е човешкото разнообразие. Има множество причини защо данните за хората могат да загубят обективност още на етапа на събиране. Но не трябва да се мисли, че този проблем се отнася само до хората: подобни трудности възникват и при опити за откриване на наводнение в склад или повредена газова турбина. Някои системи могат да имат предразсъдъци по отношение на цвета на кожата, докато други ще бъдат предубедени към сензорите на Siemens.
Тези проблеми не са нови за машинното обучение и не са присъщи само за него. Неверни предположения се правят във всякакви сложни структури, а разбирането на това, защо е било взето определено решение, винаги е сложно. Необходимо е да се борим с това комплексно: да създадем инструменти и процеси за проверка — и да обучим потребителите, за да не следват сляпо препоръките на ИИ. Машинното обучение наистина прави някои неща много по-добре от нас, — но кучетата, например, са много по-ефективни от хората в откриването на наркотици, което изобщо не е повод да ги привлекат като свидетели и да изнасят присъди въз основа на техните показания. А кучетата, между другото, са много по-умни от всяка система за машинно обучение.

Машинното обучение днес е една от най-важните основни технологични тенденции. Това е един от основните начини, по които технологията ще промени обкръжаващия свят в следващото десетилетие. Някои аспекти на тези промени предизвикват безпокойство. Например, потенциалното влияние на машинното обучение върху пазара на труда или използването му за неетични цели (например от авторитарни режими). Има още един проблем, на който е посветен този пост: предразсъдъците на изкуствения интелект..

Това не е лесна история.

AI от Google умее да открива котки. Тази новина от 2012 година беше нещо специално тогава.

Какво представлява "предвзетаост на AI"?

"Суровите данни" са едновременно оксиморон и лоша идея; данните трябва да бъдат добре и внимателно обработени. —Джефри Бокер

До около 2013 година, за да създадеш система, която, да кажем, разпознава котки на снимки, трябваше да опишеш логическите стъпки. Как да намериш ъглите на изображението, да разпознаеш очите, да анализираш текстурите за наличие на козина, да преброиш лапите и така нататък. След това да събереш всички компоненти – и да откриеш, че това всъщност не работи. Приблизително като механичен кон – теоретично можеш да го направиш, но практически е твърде сложно за описване. В крайна сметка имаш стотици (или дори хиляди) ръчно написани правила. И нито една работеща модел.

С появата на машинното обучение престанахме да използваме "ръчни" правила за разpoznаване на определени обекти. Вместо това взимаме хиляда примери на "някакво", X, хиляда примери на "друго", Y, и караме компютъра да построи модел на база статистически анализ. След това даваме на този модел някакви примери данни и той с определена точност определя дали те съвпадат с някой от наборите. Машинното обучение генерира модел на база данни, а не чрез човек, който го пише. Резултатите са впечатляващи, особено в областта на разпознаването на изображения и шаблони, и точно затова цялата IT индустрия в момента преминава към машинно обучение (ML).

Но не всичко е толкова просто. В реалния свят твоите хиляди примери X или Y също могат да съдържат А, B, J, L, O, R и дори L. Те могат да бъдат неравномерно разпределени, а някои от тях могат да се появят толкова често, че системата да обърне повече внимание на тях, отколкото на обектите, които те интересуват.

Какво означава това на практика? Моят любим пример е, когато системите за разпознаване на изображения гледат на тревист хълм и казват: "овца". Ясно е защо: по-голямата част от фотографиите-примери на "овца" са направени на ливади, където те живеят, и на тези изображения тревата заема много повече място от малките бели пухкави същества, и именно тревата системите считат за най-важна.

Има примери и по-сериозни. От последните – един проект при откриването на рак на кожата на снимки. Оказа се, че дерматолозите често снимат линийка заедно с проявленията на рак на кожата, за да фиксират размера на образуванията. На примери с фотографии на здрава кожа линийката липсва. За ИИ системата тези линийки (по-скоро, пиксели, които ние определяме като „линийка“) станаха едно от различията между наборите от примери, и понякога дори по-важни от малки обриви по кожата. Така системата, създадена за разпознаване на рак на кожата, понякога вместо него идентифицирала линийки.

Ключовият момент тук е, че системата няма семантично разбиране за това, което вижда. Ние разглеждаме набор от пиксели и виждаме в тях овца, кожа или линийки, а системата вижда само числова строка. Тя не вижда триизмерно пространство, не разглежда обекти, текстури или овце. Просто вижда шаблони в данните.

Сложността на диагностицирането на такива проблеми е в това, че невронната мрежа (модел, генериран от вашата система за машинно обучение) се състои от стотици хиляди възли. Няма прост начин да се погледне в модела и да се види как той взема решение. Наличие на такъв начин би означавало, че процесът е достатъчно прост, за да може всичките правила да бъдат описани ръчно, без използване на машинно обучение. Хората се притесняват, че машинното обучение е станало някакъв „черен кутия“. (Ще обясня след малко защо това сравнение все пак е пресилено.)

Това, в общи линии, е проблемът с предвзетостта на изкуствения интелект или машинното обучение: системата за откриване на шаблони в данните може да открива неверни шаблони, и вие можете да не го забележите. Това е основна характеристика на технологията, и е очевидно за всеки, който работи с нея в научни среди и в големи технологични компании. Но последствията й са сложни, и нашите възможни решения на тези последствия също.

Нека първо поговорим за последствията.

ИИ може да избира неявно между различни категории хора, основавайки се на голямо количество незабележими сигнали.

Сценарии на предвзетостта на ИИ.

Най-очевидното и тревожно е, че този проблем може да се прояви, когато става въпрос за човешкото разнообразие. Наскоро премина слух., че Amazon се опита да създаде система за машинно обучение за първичен скрининг на кандидатите за работа. Тъй като в Amazon има повече мъже, примерите за "успешен наем" също са по-често мъжки пол, и в подбора на резюмета, предложени от системата, имаше повече мъже. Amazon забеляза това и не пусна системата в продукция.

Най-важното в този пример е, че системата, по слухове, е предпочитала кандидати от мъжки пол, въпреки че полът не е бил посочен в резюмето. Системата е виждала и други модели в примерите за "успешен наем": например, жените може да използват специални думи за описване на постижения, или да имат специфични хобита. Разбира се, системата не е знаела какво е "хокей", нито кой са "хората", нито какво е "успех" — тя просто е провела статистически анализ на текста. Но законите, които е виждала, вероятно щяха да останат незабелязани от човека, а някои от тях (например, че хората от различен пол описват успеха по различен начин) вероятно ще бъде трудно да видим дори ако ги наблюдаваме.

По-нататък — става по-лошо. Системата за машинно обучение, която много успешно открива рак на светла кожа, може да работи по-зле с тъма кожа, или обратно. Не непременно заради предвзетост, а защото вероятно ще трябва да изградите отделен модел за друг цвят на кожата, избирайки различни характеристики. Системите за машинно обучение не са взаимозаменяеми дори в толкова тясна сфера, като разпознаване на изображения. Трябва да настроите системата, понякога просто чрез опити и грешки, за да усетите добре особеностите в интересуващите ви данни, докато не постигнете желаната точност. Но може да не забележите, че системата е точна в 98% от случаите с една група и само в 91% (макар и да е по-точна от анализа, проведен от човек) — с друга.

Досега съм използвал основно примери, свързани с хора и техните характеристики. Темата, на която се фокусира обсъждането около този проблем, е точно такава. Но е важно да разберем, че предвзетостта към хората е само част от проблема. Ние ще използваме машинно обучение за много неща, и грешката в извадките ще бъде релевантна за всички тях. От друга страна, ако работите с хора, предвзетостта на данните може да не е свързана с тях.

За да го разберем, нека се върнем на примера с рак на кожата и да разгледаме три хипотетични възможности за системен сбой.

Хетерогенно разпределение на хората: небалансирано количество снимки на кожа с различни тонове, което води до фалшиви положителни или отрицателни резултати, свързани с пигментацията.
Данните, на които се обучава системата, съдържат често срещана и хетерогенно разпределена характеристика, несвързана с хората и без диагностична стойност: линийка на снимките на проявления на рак на кожата или трева на снимките на овце. В този случай резултатът ще се различава, ако системата открие пиксели на нещо, което човешкото око ще разпознае като „линийка“.
Данните съдържат чужда характеристика, която човек не може да види, дори когато я търси.

Какво означава това? Ние предварително знаем, че данните могат по различен начин да представят различни групи хора, и поне можем да планираме търсене на подобни изключения. С други думи, има много социални причини да предполагаме, че данните за групите хора вече съдържат някакво предразсъдък. Ако погледнем на снимка с линийка, ще я видим — просто сме я пренебрегвали преди, знаейки, че не е важна, и забравяйки, че системата не знае нищо за това.

Но какво, ако всички ваши снимки на нездравословна кожа са направени в офис, където се използват лампи с нажежаема жичка, а на здравата — при флуоресцентна светлина? Какво, ако, след като приключите със снимките на здравата кожа, преди да снимате нездравата, обновите операционната система на телефона си и Епъл или Гугъл леко променят алгоритъма за намаляване на шума? Човек няма да забележи това, колкото и да търси такива особености. А системата за машинно обучение веднага ще ги забележи и използва. Тя не знае нищо.

Докато говорихме за фалшиви корелации, може да се случи и така, че данните да са точни, а резултатите правилни, но вие да не искате да ги използвате по етични, правни или управленски причини. В някои юрисдикции, например, не може да се предоставят отстъпки на жените за застраховка, въпреки че жените може да шофират по-безопасно. Лесно можем да си представим система, която при анализ на исторически данни присвоява по-нисък коефициент на риск на женските имена. Добре, нека премахнем имената от пробата. Но помислете за примера с Амазон: системата може да определи пола по други фактори (въпреки че не знае какво е пол и какво е кола), а вие няма да забележите, докато регулаторът не анализира обратно предложените от вас тарифи и не наложи глоба.

Накрая, често се предполага, че ще използваме такива системи само за проекти, свързани с хора и социални взаимодействия. Това не е така. Ако произвеждате газови турбини, вие вероятно искате да приложите машинно обучение към телеметрията, предавана от десетки или стотици сензори на вашия продукт (аудио-, видео-, температурни, както и всякакви други сензори генерират данни, които могат много лесно да се адаптират за създаване на модел на машинно обучение). Хипотетично можете да кажете: „Ето данните за хиляда повредени турбини, получени преди неизправността им, а ето данните от хиляда турбини, които не са се повреждали. Постройте модел, който да посочи разликата между тях.“ А сега си представете, че датчиците Siemens са на 75% от лошите турбини и само на 12% от добрите (но не съществува връзка с неизправностите). Системата ще построи модел, за да намери турбини с датчици Siemens. Упс!

Снимка — Moritz Hardt, UC Berkeley

Управление на пристрастията на ИИ

Какво можем да направим с това? Можем да подходим към проблема от три страни:

Методологична строгост при събиране и управление на данните за обучение на системата.
Технически инструменти за анализ и диагностика на поведението на модела.
Обучение, подготовка и внимателност при внедряване на машинно обучение в продуктите.

В книгата "Мещанин во дворянството" на Молиер има шега: на един мъж му разказват, че литературата се дели на проза и поезия, и с възхищение открива, че през целия си живот е говорил проза, без да го знае. Вероятно, статистиците по подобен начин се чувстват днес: сами без да забележат, те са посветили кариерата си на изкуствения интелект и на грешката в извадката. Да търсиш грешка в извадката и да се тревожиш за нея — това не е нов проблем, просто трябва да подходим систематично към неговото решение. Както бе споменато по-горе, в някои случаи е наистина по-лесно да се изучават проблемите, свързани с данни за хората. Ние априори предполагаем, че можем да имаме предразсъдъци спрямо различни групи хора, но предразсъдък спрямо сензорите на Siemens ни е трудно дори да си представим.

Новото в това всъщност е, че хората вече не се занимават директно с статистически анализ. Той се провежда от машини, които създават големи комплексни модели, трудни за разбиране. Въпросът за прозрачността е един от основните аспекти на проблема с предвзятостта. Страхуваме се, че системата не просто е предвзета, но че няма никаква възможност да открием нейната предвзятост, и че машинното обучение се различава от другите форми на автоматизация, които, както се предполага, се състоят от ясни логически стъпки, които могат да бъдат проверени.

Тук има два проблема. Може би все пак можем да провеждаме някакъв одит на системите за машинно обучение. И одитът на всяка друга система всъщност не е никак по-лесен.

Първо, едно от направленията на съвременните проучвания в областта на машинното обучение е търсенето на методи за идентифициране на важната функционалност на системите за машинно обучение. При това, машинното обучение (в сегашното си състояние) е съвсем нова област на науката, която бързо се променя, така че не бива да мислим, че нещата, които днес изглеждат невъзможни, не могат скоро да станат напълно реални. Проектът OpenAI — интересен пример за това.

На второ място, концепцията, че можем да проверим и разберем процеса на вземане на решения в съществуващите системи или организации, е добра на теория, но не много работеща на практика. Разбирането на това как се взимат решения в голяма организация не е никак лесно. Дори ако там съществува формален процес на вземане на решения, той не отразява начина, по който хората действително взаимодействат, а и самите те често нямат логически системен подход при вземането на собствените си решения. Както каза моят колега Виджей Панда, хората също са черни кутии.

Ако вземете хиляда души от няколко пресичащи се компании и институти, проблемът ще стане още по-сложен. Знаем постфактум, че на "Спейс шатъл" му е било предопределено да се разпадне при завръщането, и отделни лица в NASA са имали информация, която им е давала основание да мислят, че може да се случи нещо лошо, но системата като цяло не знаеше това. NASA дори току-що беше преминала подобен одит, след като загуби предишния шатъл, и въпреки това загуби още един — по много подобна причина. Лесно е да се твърди, че организациите и хората следват ясни логически правила, които могат да се проверят, разберат и променят — но опитът доказва обратното. Това е "илюзията на Госплана».

Често сравнявам машинното обучение с бази данни, особено с релационни — нова основополагаща технология, която промени възможностите на информатиката и света около нея, която стана част от всичко, което използваме постоянно, без да си даваме сметка за това. В базите данни също има проблеми, и те са от подобен тип: системата може да бъде изградена на неверни предположения или на лоши данни, но това ще бъде трудно за забелязване, а хората, използващи системата, ще правят това, което тя им казва, без да задават въпроси. Има куп стари шеги за служителите в данъчната администрация, които веднъж неправилно записали вашето име, и да ги убедите да поправят грешката е много по-трудно, отколкото всъщност да смените името. Можете да мислите за това по различен начин, но не е ясно как точно: като технически проблем в SQL, или като грешка в версия на Oracle, или като провал на бюрократичните институции? Колко трудно е да намерите грешка в процеса, който доведе до това, че системата няма функция като корекция на печатни грешки? Можеше ли да се разбере това преди хората да започнат да се оплакват?

Още по-лесно този проблем се илюстрира от историите, когато шофьори заради остарели данни в навигатора се отклоняват в реки. Окей, картите трябва да се обновяват постоянно. Но доколко ТомТом е виновен за това, че колата ви бива отнесена в морето?

Аз казвам това, за да подчертая, че да — пристрастията на машинното обучение ще създадат проблеми. Но тези проблеми ще бъдат подобни на тези, с които сме се сблъсквали в миналото, и можем да ги забележим и решим (или не) приблизително толкова добре, колкото сме успявали в миналото. Следователно, сценарият, при който пристрастията на ИИ ще нанесат вреда, едва ли ще се случи с водещи изследователи, работещи в голяма организация. По-вероятно е някакъв маловажен технологичен подизпълнител или софтуерен доставчик да напише нещо на коляно, използвайки непознати за него отворени компоненти, библиотеки и инструменти. А нещастният клиент ще се напъне да повярва на термина 'изкуствен интелект' в описанието на продукта и, без да задава излишни въпроси, ще го предостави на своите ниско платени работници, наказывавайки ги да правят това, което казва ИИ. Именно това се случи с базите данни. Това не е проблем на изкуствения интелект, и дори не е проблем на софтуера. Това е човешки фактор.

Заключение

Машинното обучение може да направи всичко, на което можете да обучите куче — но никога не можете да бъдете сигурни, какво точно сте научили това куче.

Често ми изглежда, че терминът „изкуствен интелект“ само пречи да влезем в разговори като този. Този термин създава фалшивото впечатление, че всъщност сме го създали — този интелект. Че сме на път към HAL9000 или Skynet — към нещо, което наистина разбира. Но не. Това просто са машини и е много по-правилно да ги сравняваме, да речем, с пералня. Тя много по-добре се справя с пране и ако сложите съдове вместо бельо, тя ще ги… изпере. Съдовете дори ще станат чисти. Но това няма да е това, на което сте разчитали, и ще се случи не защото системата има някакви предразсъдъци спрямо съдове. Пералнята не знае какво е съд, нито какво е дреха — това е просто пример за автоматизация, концептуално не различен от начина, по който процесите се автоматизираха преди.

Независимо от това, за което става дума — за машини, самолети или бази данни — тези системи ще бъдат едновременно много мощни и много ограничени. Те ще зависят напълно от начина, по който хората използват тези системи, добрите или лошите им намерения и в каква степен разбират тяхната работа.

Следователно, да се каже, че „изкуственият интелект — това е математика, така че не може да има предразсъдъци“ е абсолютно неверно. Но не по-малко неверно е и твърдението, че машинното обучение „естествено е субективно“. Машинното обучение открива модели в данните и какви модели ще намери зависи от данните, а данните зависят от нас. Както и от това, какво правим с тях. Машинното обучение наистина прави някои неща много по-добре от нас — но кучетата, например, са много по-ефективни от хората в откритията на наркотици, което не е повод да ги привикваме като свидетели и да издаваме присъди на база техните показания. А кучетата, между другото, са много по-умни от всяка машина за машинно обучение.

Превод: Диана Лецка.
Редакция: Алексей Иванов.
Общество: @PonchikNews.

Източник: habr.com