🥇За предубедеността на изкуствения интелект

Резюме:

Машинното обучение открива закономерности в данните. Но изкуственият интелект може да бъде "пристрастен" — тоест, да открива неверни модели. Например, система за откриване на рак на кожата от снимки може да обърне специално внимание на изображения, направени в лекарски кабинет. Машинното обучение не може да разбира: неговите алгоритми само открива закономерности в числа, и ако данните не са репрезентативни, такъв ще бъде и резултатът от обработката им. А уловенето на такива грешки може да бъде трудно заради самата механика на машинното обучение.
Най-очевидната и плашеща проблемна област е човешкото разнообразие. Има много причини, поради които данните за хората могат да загубят обективност още на етапа на събиране. Но не трябва да си мислим, че този проблем се отнася само за хората: същите трудности възникват при опити за откриване на наводнение на склад или повредена газова турбина. Някои системи може да имат предубеждения относно цвета на кожата, а други да са предвзети спрямо сензорите на Siemens.
Такива проблеми не са нови за машинното обучение и не са присъщи само на него. Неверни предположения се правят в каквито и да е сложни структури, а разбирането на причините за взетите решения винаги е трудно. Необходимо е да се справяме с това комплексно: да създаваме инструменти и процеси за проверка — и да образоваме потребителите, за да не следват сляпо препоръките на ИИ. Машинното обучение наистина прави някои неща много по-добре от нас — но кучетата, например, са много по-ефективни от хората в откритията на наркотици, което никак не е причина да ги привличаме като свидетели и да изнасяме присъди на основание на техните показания. А кучетата, между другото, са много по-умни от всяка система за машинно обучение.

Машинното обучение днес е един от най-важните фундаментални технологични трендове. Това е един от основните начини, по които технологията ще променя околния свят през следващото десетилетие. Някои аспекти от тези промени предизвикват тревога. Например, потенциалното влияние на машинното обучение върху пазара на труда или използването му за неетични цели (например от авторитарни режими). Има още един проблем, на който е посветен този пост: пристрастността на изкуствения интелект.

Това е сложна история.

Изкуственият интелект на Google може да открива котки. Тази новина от 2012 година беше нещо специално тогава.

Какво е "предвзятост на ИИ"?

"Сурови данни" са едновременен оксиморон и лоша идея; данните трябва да се подготвят добре и с внимание. - Джефри Бокер

Някъде до 2013 година, за да се създаде система, която, да речем, разпознава котки на снимки, трябваше да опишете логическите стъпки. Как да откриете ъгли на изображението, да разпознаете очи, да анализирате текстури за наличие на козина, да преброите лапите и така нататък. След това да съберете всичките компоненти – и да откриете, че всичко това не работи. Все едно като механичен кон – теоретично е възможно да го създадете, но на практика е твърде сложно за описание. В резултат имате стотици (или дори хиляди) написани на ръка правила. И нито една работеща модел.

С появата на машинното обучение спряхме да използваме "ръчни" правила за разпознаване на определени обекти. Вместо това вземаме хиляда примера на "едно", X, хиляда примера на "друго", Y, и заставяме компютъра да построи модел въз основа на статистическия анализ на тях. След това даваме на този модел някакъв пример данни и той с определена точност определя дали приляга на един от наборите. Машинното обучение генерира модел въз основа на данни, а не чрез човек, който да го напише. Резултатите са впечатляващи, особено в областта на разпознаването на изображения и модели, и затова цялата технологична индустрия сега преминава към машинно обучение (ML).

Но не всичко е толкова просто. В реалния свят вашите хиляди примери X или Y също съдържат A, B, J, L, O, R и дори L. Те могат да бъдат неравномерно разпределени, а някои от тях могат да се срещат толкова често, че системата да обърне повече внимание на тях, отколкото на обектите, които ви интересуват.

Какво означава това на практика? Моите любими примери са, когато системите за разпознаване на изображения гледат на тревист хълм и казват: "овца". Разбираемо е защо: повечето от снимките-примери на "овца" са направени на ливади, където те живеят, и на тези изображения тревата заема много повече пространство, отколкото малките бели пухчета, и именно тревата системите смятат за най-важна.

Има примери и по-сериозни. Отново наскоро - един проект откритие на рак на кожата от снимки. Оказа се, че дерматолозите често снимат линия заедно с проявления на рак на кожата, за да фиксират размера на образуванията. На примерите на снимки със здрава кожа линии няма. За системата ИИ тези линии (по-точно, пиксели, които ние определяме като «линия») станаха едно от различията между наборите примери и понякога по-важни от малки обриви по кожата. Така системата, създадена за разпознаване на рак на кожата, понякога вместо него разпознаваше линии.

Ключовият момент тук е, че системата няма семантично разбиране на това, на което гледа. Ние гледаме на набор пиксели и виждаме в тях овца, кожа или линии, а системата вижда само числова последователност. Тя не вижда триизмерно пространство, не вижда нито обекти, нито текстури, нито овци. Тя просто вижда шаблони в данните.

Сложността на диагностицирането на такива проблеми е в това, че невропромрежата (моделът, генериран от вашата система за машинно обучение) се състои от хиляди, стотици хиляди възли. Няма прост начин да се погледне вътре в модела и да се види как той взема решения. Наличието на такъв начин би означавало, че процесът е достатъчно прост, за да се опишат всички правила ръчно, без използването на машинно обучение. Хората се притесняват, че машинното обучение е станало някакъв „черен кутия“. (Ще обясня по-късно защо това сравнение все пак е прекалено.)

Това в общи линии е проблемът с предвзетостта на изкуствения интелект или машинното обучение: системата, предназначена за намиране на шаблони в данните, може да намери неверни шаблони, а вие може да не го забележите. Това е основна характеристика на технологията и е очевидно за всички, които работят с нея в научни среди и в големи технологични компании. Но последствията са сложни, а нашите възможни решения за тези последствия също.

Нека първо поговорим за последствията.

ИИ може неявно да прави избор в полза на едни или други категории хора, основавайки се на голямо количество незабележими сигнали.

Сценарии на предвзетост на ИИ

Най-очевидното и страшно е, че този проблем може да се прояви, когато става въпрос за човешкото разнообразие. Наскоро се разчу, което Амазон опита да изгради система за машинно обучение за първично скриниране на кандидати за работа. Тъй като сред работниците на Амазон преобладават мъже, примери за „успешен наем“ също често са мъжки пол, и в набора от автобиографии, предоставен от системата, имаше повече мъже. Амазон забеляза това и не пусна системата в продукция.

Най-важното в този пример е, че системата, според слухове, е давала предимство на кандидати от мъжки пол, въпреки че полът не е бил посочен в автобиографията. Системата е забелязала и други модели в примери за „успешен наем“: например, жените могат да използват специални думи за описание на постижения, или да имат специфични хобита. Разбира се, системата не е знаела какво е „хокей“, нито кой са „хората“, нито какво е „успех“, — тя просто е извършвала статистически анализ на текста. Но закономерностите, които е виждала, с голяма вероятност биха останали незабелязани от човек, а някои от тях (например, че хората от различен пол описват успеха по различен начин) вероятно биха били трудни за забелязване, дори ако ги наблюдавахме.

По-нататък — става по-лошо. Системата за машинно обучение, която много добре открива рак на светла кожа, може да работи по-зле с тъмна кожа, или обратното. Не непременно заради пристрастия, а защото вероятно е необходимо да изградите отделен модел за другия цвят на кожата, избирайки различни характеристики. Системите за машинно обучение не са взаимозаменяеми дори в такава тясна област, като разпознаване на изображения. Трябва да конфигурирате системата, понякога просто чрез проби и грешки, за да забелязвате добре характеристиките в интересуващите ви данни, докато не постигнете желаната точност. Но можете да не забележите, че системата е точна в 98% от случаите при работа с една група и само в 91% (макар и по-точна от анализа, извършен от човек) — с друга.

До момента съм използвал основно примери, свързани с хора и техните характеристики. Именно около тази тема се фокусира и дискусията около този проблем. Но е важно да разберем, че пристрастията към хората е само част от проблема. Ще използваме машинно обучение за множество неща, и грешка на извадката ще бъде релевантна за всички тях. От друга страна, ако работите с хора, пристрастията на данните може да не е свързано с тях.

За да го разберем, нека се върнем към примера с рака на кожата и разгледаме три хипотетични възможности за повреда на системата.

Неравномерно разпределение на хората: несбаланисано количество снимки на кожа с различни тонове, което води до фалшиво положителни или фалшиво отрицателни резултати, свързани с пигментацията.
Данните, върху които се обучава системата, съдържат често срещана и неравномерно разпределена характеристика, която не е свързана с хора и няма диагностична стойност: линия на снимките на проявления на рак на кожата или трева на снимките на овце. В този случай резултатът ще варира, ако системата намери пиксели на нещо, което човешкото око ще определи като „линия“.
Данните съдържат странична характеристика, която човек не може да види, дори и да я търси.

Какво означава това? Ние априори знаем, че данните могат да представят различни групи хора по различен начин и поне можем да планираме търсенето на подобни изключения. С други думи, има много социални причини да предполагаме, че данните за групи хора вече съдържат определено предразсъдъци. Ако погледнем снимка с линия, ще видим тази линия — просто я игнорирахме преди, знаейки, че няма значение, и забравяйки, че на системата нищо не ѝ е известно.

Но какво, ако всичките ви снимки на нездравословна кожа са направени в офис, където се използват лампи с нажежаема жичка, а здравите — при флуоресцентна светлина? Какво, ако след като заснемете здрава кожа, преди да заснемете нездравословна, обновите операционната система на телефона си, а Apple или Google малко променят алгоритъма за потискане на шума? Човекът няма да забележи това, независимо колко много търси такива особености. Но системата за машинно обучение веднага ще види и използва това. Тя не знае нищо.

Докато говорихме за фалшиви корелации, може да се случи и така, че данните да са точни, а резултатите правилни, но вие да не желаете да ги използвате по етични, юридически или управленски причини. В някои юрисдикции, например, не е разрешено да предоставяте отстъпка за застраховка на жени, въпреки че жените може да шофират по-безопасно. Лесно можем да си представим система, която при анализ на исторически данни приписва по-нисък коефициент на риск на женските имена. Добре, нека премахнем имената от извадката. Но си спомнете примера с Amazon: системата може да определи пола по други фактори (въпреки че не знае какво е пол, нито какво е кола), а вие няма да го забележите, докато регулаторът не анализира предлаганите от вас тарифи след факта и не ви наложи глоба.

Накрая, често се предполага, че ще използваме такива системи само за проекти, свързани с хора и социални взаимодействия. Това не е вярно. Ако произвеждате газови турбини, със сигурност ще искате да приложите машинно обучение към телеметрията, предавана от десетки или стотици сензори на вашия продукт (аудио-, видео-, температурни и всякакви други сензори генерират данни, които могат да се адаптират лесно за създаване на модел на машинно обучение). Хипотетично можете да кажете: „Ето данните за хиляда повредени турбини, получени преди тяхната повреда, а ето данните от хиляда турбини, които не са се повредили. Постройте модел, за да кажете в какво е разликата между тях“. А сега си представете, че сензорите Siemens са на 75% от лошите турбини и само на 12% от добрите (без връзка с повредите в този случай). Системата ще създаде модел, за да идентифицира турбини със сензори Siemens. Опа!

Снимка — Moritz Hardt, UC Berkeley

Управление на предвзятостта на ИИ

Какво да направим с това? Можем да подходим към въпроса от три страни:

Методологичната строгост при събиране и управление на данни за обучение на системата.
Техническите инструменти за анализ и диагностика на поведението на модела.
Обучение, тренинг и внимание при внедряване на машинно обучение в продуктите.

В книгата «Мещанин во дворянството» на Молиер има шега: един мъж научава, че литературата се дели на проза и поезия и с възхищение открива, че е говорил проза през целия си живот, без да знае. Вероятно статистиците днес се чувстват по подобен начин: без да забелязват, те са посветили кариерата си на изкуствения интелект и на грешките в извадките. Търсенето на грешките в извадките и загрижеността за тях не е нов проблем, просто трябва да подходим системно към неговото решение. Както беше споменато по-горе, в някои случаи е наистина по-лесно да се решават проблеми, свързани с данни за хората. Ние по подразбиране приемаме, че можем да имаме предразсъдъци относно различни групи хора, но предразсъдието относно датчици Siemens е нещо, което трудно можем да си представим.

Новото в това е, разбира се, че хората вече не се занимават с статистически анализи директно. Те се извършват от машини, които създават големи комплексни модели, трудни за разбиране. Въпросът за прозрачността е един от основните аспекти на проблема с предвзетостта. Страхуваме се, че системата не само че е предубедена, но и че няма начин да разкрием нейната предвзетост, и че машинното обучение се различава от други форми на автоматизация, които се предполага, че се състоят от ясни логически стъпки, които могат да бъдат проверени.

Тук има два проблема. Може би все пак можем да извършваме определен одит на системите за машинно обучение. И одитът на всяка друга система всъщност не е никак по-лесен.

Първо, едно от направленията на съвременните изследвания в областта на машинното обучение е търсенето на методи за идентифициране на важната функционалност на системите за машинно обучение. В същото време машинното обучение (в настоящото си състояние) е съвсем нова област на науката, която бързо се променя, така че не трябва да си мислим, че нещата, които днес изглеждат невъзможни, няма да станат напълно реални скоро. Проектът OpenAI е интересен пример за това.

От друга страна, идеята, че можем да проверяваме и разбираем процеса на вземане на решения в съществуващите системи или организации, е добра в теорията, но е съвсем различна на практика. Разбирането как се взимат решения в голяма организация не е никак просто. Дори ако съществува формален процес на вземане на решения, той не отразява начина, по който хората наистина взаимодействат, и те самите често нямат логически системен подход към вземането на собствените си решения. Както каза колегата ми Виджей Панда, хората също са черни кутии.

Вземете хиляда души от няколко пресечени компании и институти, и проблемът ще стане още по-сложен. Знаем постфактум, че на "Спейс шатъл" му беше съдба да се разпадне на части при завръщането, а отделни хора в NASA разполагаха с информация, която им даваше основание да си мислят, че може да се случи нещо лошо, но системата като цяло не беше наясно с това. NASA дори току-що беше преминала през аналогичен одит, загубила предишния шатъл и все пак загуби още един — по много подобна причина. Лесно е да твърдим, че организациите и хората следват ясни логически правила, които могат да се проверят, разбере и променят — но опитът доказва обратното. Това е "блуждаещото заблуждение на Госплана».

Често сравнявам машинното обучение с бази данни, особено с релационни — нова основополагающа технология, която промени възможностите на информатиката и света около нея, която стана част от всичко, което постоянно използваме, без да осъзнаваме. В базите данни също има проблеми, и те са от подобен характер: системата може да бъде изградена на неверни предположения или на лоши данни, но това ще бъде трудно за забелязване, а хората, които използват системата, ще правят това, което тя им казва, без да задават въпроси. Има куп стари шегички за данъчните служители, които веднъж неправилно са записали вашето име, и да ги убедите да поправят грешката е много по-трудно, отколкото всъщност да смените името си. Можете да помислите за това по различни начини, но не е ясно кое е по-добре: като технически проблем в SQL, или като грешка в версията на Oracle, или като неуспех на бюрократичните институции? Колко трудно е да се намери грешката в процеса, който е довел до това, че системата няма такава функция като корекция на правописни грешки? Можеше ли да се разбере това преди хората да започнат да се оплакват?

Още по-ясно този проблем илюстрират историите, когато шофьори, заради остарели данни в навигатора, се отклоняват в реки. Окей, картите трябва постоянно да се обновяват. Но доколко е виновен TomTom за това, че вашата кола е отнесена в морето?

Казвам това, за да подчертая, че да — предубедеността на машинното обучение ще създаде проблеми. Но тези проблеми ще бъдат подобни на тези, с които сме се сблъсквали в миналото, и те ще бъдат забелязани и решени (или не) толкова добре, колкото успявахме в миналото. Следователно, сценарият, при който предубедеността на ИИ ще нанесе вреда, едва ли ще се случи с водещи изследователи, работещи в голяма организация. По-скоро някой незначителен технологичен подизпълнител или софтуерен доставчик ще напише нещо набързо, използвайки неразбираеми за него open source компоненти, библиотеки и инструменти. А потърпевшият клиент ще се захване за фразата “изкуствен интелект” в описанието на продукта и, без да задава излишни въпроси, ще го раздаде на своите нископлатени служители, принуждавайки ги да правят това, което казва ИИ. Именно това се е случило с базите данни. Това не е проблем на изкуствения интелект, и дори не е проблем на софтуера. Това е човешки фактор.

Заключение

Машинното обучение може да направи всичко, което можете да научите кучето си, — но никога не можете да бъдете сигурни, какво точно сте научили това куче.

Често ми се струва, че терминът „изкуствен интелект“ само пречи на разговорите около темата. Този термин създава фалшиво впечатление, че всъщност сме го създали — самия интелект. Че сме на път към HAL9000 или Skynet — към нещо, което всъщност разбира. Но не. Това са просто машини, и е много по-точно да ги сравняваме, да речем, с пералня. Тя много по-добре от човека се справя с пране, но ако сложите в нея съдове вместо бельо, тя ще … ги изпере. Съдът дори ще стане чист. Но това няма да бъде това, на което сте разчитали, и това ще се случи не защото системата има някакви предразсъдъци относно съдовете. Пералнята не знае какво е съд, нито какво е дреха — това е просто пример за автоматизация, концептуално неразличим от това, как процесите се автоматизираха преди.

Каквото и да е темата — за машини, самолети или бази данни — тези системи ще бъдат едновременно много мощни и много ограничени. Те ще зависят изцяло от начина, по който хората използват тези системи, от добрите или лошите им намерения и от степента, до която разбират тяхната работа.

Следователно, да се твърди, че „изкуственият интелект е математика, затова не може да има предразсъдъци“ е напълно неверно. Но е също толкова неверно да се заявява, че машинното обучение „по своята същност е субективно“. Машинното обучение открива шаблони в данните, а какви шаблони ще открие зависи от данните, а данните зависят от нас. Както и от това, което правим с тях. Машинното обучение наистина прави някои неща много по-добре от нас, — но кучетата, например, са много по-ефективни от хората в разпознаването на наркотици, което не е причина да ги привличаме като свидетели и да произнасяме присъди на базата на техните показания. А кучета, между другото, са много по-умни от всяка система за машинно обучение.

Превод: Диана Лецкая.
Редакция: Алексей Иванов.
Общество: @PonchikNews.

Източник: habr.com