Относно пристрастията към изкуствения интелект

TL; р:

• Машинното обучение търси модели в данните. Но изкуственият интелект може да бъде „предубеден“ – тоест да открие модели, които са неправилни. Например, базирана на снимки система за откриване на рак на кожата може да обърне специално внимание на изображения, направени в лекарски кабинет. Машинното обучение не може да разбера: неговите алгоритми идентифицират само модели в числа и ако данните не са представителни, такъв ще бъде и резултатът от тяхната обработка. И улавянето на такива грешки може да бъде трудно поради самата механика на машинното обучение.
• Най-очевидната и плашеща проблемна област е човешкото разнообразие. Има много причини, поради които данните за хората могат да загубят обективност дори на етапа на събиране. Но не мислете, че този проблем засяга само хората: абсолютно същите трудности възникват, когато се опитвате да откриете наводнение в склад или повредена газова турбина. Някои системи може да са предубедени към цвета на кожата, други ще бъдат предубедени към сензорите на Siemens.
• Такива проблеми не са нови за машинното обучение и далеч не са уникални за него. Във всяка сложна структура се правят погрешни предположения и винаги е трудно да се разбере защо е взето определено решение. Трябва да се борим с това по цялостен начин: да създадем инструменти и процеси за проверка – и да образоваме потребителите, така че да не следват сляпо препоръките на AI. Машинното обучение прави някои неща много по-добре от нас - но кучетата например са много по-ефективни от хората при откриването на наркотици, което не е причина да ги използваме като свидетели и да правим преценки въз основа на техните показания. А кучетата, между другото, са много по-умни от всяка система за машинно обучение.

Машинното обучение е една от най-важните фундаментални технологични тенденции днес. Това е един от основните начини, по които технологиите ще променят света около нас през следващото десетилетие. Някои аспекти на тези промени са причина за безпокойство. Например потенциалното въздействие на машинното обучение върху пазара на труда или използването му за неетични цели (например от авторитарни режими). Има друг проблем, който тази публикация адресира: пристрастие към изкуствения интелект.

Това не е лесна история.

AI на Google може да намира котки. Тази новина от 2012 г. беше нещо специално тогава.

Какво е „AI Bias“?

„Необработени данни“ е едновременно оксиморон и лоша идея; данните трябва да се подготвят добре и внимателно. — Джефри Бокър

Някъде преди 2013 г., за да направиш система, която, да речем, разпознава котки на снимки, трябваше да опишеш логични стъпки. Как да намирате ъгли в изображение, да разпознавате очи, да анализирате текстури за козина, да броите лапи и т.н. След това съберете всички компоненти и открийте, че наистина не работи. Много прилича на механичен кон - теоретично може да бъде направен, но на практика е твърде сложен за описание. Крайният резултат са стотици (или дори хиляди) написани на ръка правила. И нито един работещ модел.

С навлизането на машинното обучение спряхме да използваме „ръчни“ правила за разпознаване на определен обект. Вместо това вземаме хиляда проби от „това“, X, хиляда проби от „друго“, Y и караме компютъра да изгради модел въз основа на техния статистически анализ. След това даваме на този модел някои примерни данни и той определя с известна прецизност дали отговаря на един от наборите. Машинното обучение генерира модел от данни, а не от човек, който го пише. Резултатите са впечатляващи, особено в областта на разпознаването на изображения и шаблони, и затова цялата технологична индустрия сега преминава към машинно обучение (ML).

Но не е толкова просто. В реалния свят вашите хиляди примери за X или Y също съдържат A, B, J, L, O, R и дори L. Те може да не са равномерно разпределени и някои може да се появят толкова често, че системата ще плаща повече внимание към тях, отколкото към обекти, които ви интересуват.

Какво означава това на практика? Любимият ми пример е, когато системите за разпознаване на изображения погледнете тревист хълм и кажете "овце". Ясно е защо: повечето от примерните снимки на "овцете" са направени на поляните, където живеят, и на тези изображения тревата заема много повече място от малките бели пухчета и системата смята, че тревата е най-важна .

Има и по-сериозни примери. Един скорошен проект за откриване на рак на кожата по снимки. Оказа се, че дерматолозите често снимат линийката заедно с проявите на рак на кожата, за да запишат размера на образуванията. В примерните снимки на здрава кожа няма линийки. За система с изкуствен интелект такива линийки (по-точно пикселите, които определяме като „линийка“) са се превърнали в една от разликите между набори от примери и понякога по-важни от малък обрив по кожата. Така че система, създадена за идентифициране на рак на кожата, понякога разпознава вместо това владетели.

Ключовият момент тук е, че системата няма семантично разбиране за това, което гледа. Гледаме набор от пиксели и виждаме в тях овца, кожа или линийки, но системата е само числова линия. Тя не вижда триизмерно пространство, не вижда обекти, текстури или овце. Тя просто вижда модели в данните.

Трудността при диагностицирането на такива проблеми е, че невронната мрежа (моделът, генериран от вашата система за машинно обучение) се състои от хиляди стотици хиляди възли. Няма лесен начин да се вгледате в модел и да видите как той взема решение. Наличието на такъв начин би означавало, че процесът е достатъчно прост, за да опише всички правила ръчно, без да използва машинно обучение. Хората се притесняват, че машинното обучение се е превърнало в нещо като черна кутия. (Ще обясня малко по-късно защо това сравнение все още е прекалено.)

Това, най-общо казано, е проблемът с пристрастията в изкуствения интелект или машинното обучение: система за намиране на модели в данните може да открие грешните модели и вие може да не го забележите. Това е основна характеристика на технологията и е очевидно за всеки, който работи с нея в академичните среди и в големите технологични компании. Но неговите последствия са сложни, както и нашите възможни решения за тези последствия.

Нека първо да поговорим за последствията.

AI може, имплицитно за нас, да направи избор в полза на определени категории хора, въз основа на голям брой незабележими сигнали

Сценарии за отклонение от AI

Най-очевидно и плашещо е, че този проблем може да се прояви, когато става дума за човешкото многообразие. Наскоро имаше слухче Amazon се е опитал да изгради система за машинно обучение за първоначална проверка на кандидати за работа. Тъй като сред работниците в Amazon има повече мъже, примерите за „успешно наемане“ също са по-често мъже и имаше повече мъже в подбора на автобиографии, предложени от системата. Amazon забеляза това и не пусна системата в производство.

Най-важното в този пример е, че според слуховете системата предпочита кандидатите от мъжки пол, въпреки факта, че полът не е посочен в автобиографията. Системата видя други модели в примерите за „добри наематели“: например жените може да използват специални думи, за да опишат постиженията си или да имат специални хобита. Разбира се, системата не знаеше какво е „хокей“, нито кои са „хора“, нито какво е „успех“ - тя просто извърши статистически анализ на текста. Но моделите, които тя видя, най-вероятно биха останали незабелязани от хората, а някои от тях (например фактът, че хората от различни полове описват успеха по различен начин) вероятно ще ни е трудно да видим дори и да ги погледнем.

По-нататък - по-зле. Система за машинно обучение, която е много добра в откриването на рак на бледа кожа, може да не работи толкова добре на тъмна кожа или обратното. Не непременно поради пристрастия, а защото вероятно трябва да изградите отделен модел за различен цвят на кожата, като изберете различни характеристики. Системите за машинно обучение не са взаимозаменяеми дори в толкова тясна област като разпознаването на изображения. Трябва да настроите системата, понякога само чрез проба и грешка, за да се справите добре с характеристиките на данните, които ви интересуват, докато постигнете желаната точност. Но това, което може да не забележите, е, че системата е точна 98% от времето с едната група и само 91% (дори по-точна от човешкия анализ) с другата.

Досега съм използвал предимно примери, свързани с хора и техните характеристики. Дискусията около този проблем се фокусира основно върху тази тема. Но е важно да разберете, че пристрастията към хората са само част от проблема. Ще използваме машинно обучение за много неща и грешката при вземане на проби ще бъде от значение за всички тях. От друга страна, ако работите с хора, отклонението в данните може да не е свързано с тях.

За да разберем това, нека се върнем към примера с рака на кожата и разгледаме три хипотетични възможности за повреда на системата.

1. Хетерогенно разпределение на хората: небалансиран брой снимки с различни тонове на кожата, което води до фалшиви положителни или фалшиви негативи поради пигментация.
2. Данните, върху които се обучава системата, съдържат често срещана и хетерогенно разпределена характеристика, която не е свързана с хора и няма диагностична стойност: линийка в снимки на рак на кожата или трева в снимки на овце. В този случай резултатът ще бъде различен, ако системата намери пиксели в изображението на нещо, което човешкото око идентифицира като „линийка“.
3. Данните съдържат характеристика на трета страна, която човек не може да види, дори и да я потърси.

Какво означава? Ние знаем предварително, че данните могат да представят различни групи от хора по различен начин и като минимум можем да планираме да търсим такива изключения. С други думи, има много социални причини да се предположи, че данните за групи от хора вече съдържат някои пристрастия. Ако погледнем снимката с линийката, ще видим тази линийка - просто сме я игнорирали преди, знаейки, че няма значение, и забравяйки, че системата не знае нищо.

Но какво ще стане, ако всичките ви снимки на нездрава кожа са направени в офис на нажежаема жичка, а здравата ви кожа е направена на флуоресцентна светлина? Какво ще стане, ако след като приключите със снимането на здрава кожа, преди да заснемете нездрава кожа, актуализирате операционната система на телефона си и Apple или Google леко промениха алгоритъма за намаляване на шума? Човек не може да забележи това, колкото и да търси такива черти. Но системата за машинно използване веднага ще види и използва това. Тя не знае нищо.

Досега говорихме за фалшиви корелации, но също така може да се окаже, че данните са точни и резултатите са правилни, но не искате да ги използвате по етични, правни или управленски причини. Някои юрисдикции, например, не позволяват на жените да получават отстъпка от застраховката си, въпреки че жените може да са по-безопасни шофьори. Лесно можем да си представим система, която при анализиране на исторически данни ще определи по-нисък рисков фактор за женските имена. Добре, нека премахнем имената от селекцията. Но помнете примера с Amazon: системата може да определи пола въз основа на други фактори (въпреки че не знае какъв е полът или дори какво е автомобил) и вие няма да забележите това, докато регулаторът не анализира със задна дата тарифите, които оферта и ви таксува, ще бъдете глобени.

И накрая, често се приема, че ще използваме такива системи само за проекти, които включват хора и социални взаимодействия. Това е грешно. Ако правите газови турбини, вероятно ще искате да приложите машинно обучение към телеметрията, предавана от десетки или стотици сензори на вашия продукт (аудио, видео, температурни и всякакви други сензори генерират данни, които могат много лесно да бъдат адаптирани за създаване на машина модел на обучение). Хипотетично бихте могли да кажете: „Ето данни от хиляда турбини, които са се повредили, преди да се повредят, и ето данни от хиляда турбини, които не са се повредили. Изградете модел, за да кажете каква е разликата между тях. Е, сега си представете, че сензорите на Siemens са инсталирани на 75% от лошите турбини и само на 12% от добрите (няма връзка с повреди). Системата ще изгради модел за намиране на турбини със сензори на Siemens. Опа!

Снимка — Мориц Хард, UC Berkeley

Управление на пристрастията на AI

Какво можем да направим по въпроса? Можете да подходите към проблема от три гледни точки:

1. Методологична строгост при събиране и управление на данни за обучение на системата.
2. Технически инструменти за анализ и диагностика на поведението на модела.
3. Обучавайте, образовайте и бъдете внимателни, когато внедрявате машинно обучение в продукти.

В книгата на Молиер „Буржоа в благородството“ има шега: на един човек му казали, че литературата се дели на проза и поезия, и той с радост открил, че цял живот е говорил в проза, без да го знае. Вероятно така се чувстват статистиците днес: без да го осъзнават, те са посветили кариерата си на изкуствения интелект и грешките в извадката. Търсенето на грешка в извадката и безпокойството за нея не е нов проблем, просто трябва систематично да подходим към нейното решение. Както бе споменато по-горе, в някои случаи всъщност е по-лесно да направите това чрез изучаване на проблеми, свързани с данни за хора. Априори предполагаме, че може да имаме предразсъдъци по отношение на различни групи хора, но ни е трудно дори да си представим предубеждение към сензорите на Siemens.

Новото във всичко това, разбира се, е, че хората вече не правят директно статистически анализи. Извършва се от машини, които създават големи, сложни модели, които са трудни за разбиране. Въпросът за прозрачността е един от основните аспекти на проблема с пристрастията. Опасяваме се, че системата не е просто пристрастна, но че няма начин да се открие нейната пристрастност и че машинното обучение е различно от другите форми на автоматизация, за които се предполага, че се състоят от ясни логически стъпки, които могат да бъдат тествани.

Тук има два проблема. Все пак може да успеем да проведем някакъв вид одит на системи за машинно обучение. И одитирането на всяка друга система всъщност не е по-лесно.

Първо, една от посоките на съвременните изследвания в областта на машинното обучение е търсенето на методи за идентифициране на важна функционалност на системите за машинно обучение. Въпреки това, машинното обучение (в сегашното му състояние) е напълно нова област на науката, която се променя бързо, така че не мислете, че нещата, които са невъзможни днес, не могат скоро да станат съвсем реални. Проект OpenAI - интересен пример за това.

Второ, идеята, че можете да тествате и разберете процеса на вземане на решения на съществуващи системи или организации, е добра на теория, но така на практика. Разбирането как се вземат решения в голяма организация не е лесно. Дори да има официален процес на вземане на решения, той не отразява как хората действително си взаимодействат, а самите те често нямат логичен, систематичен подход при вземането на своите решения. Както каза колегата Виджай Панде, хората също са черни кутии.

Вземете хиляда души в няколко застъпващи се компании и институции и проблемът става още по-сложен. Ние знаем след факта, че космическата совалка е била предназначена да се разпадне при връщане и лица в НАСА са имали информация, която им е дала основание да мислят, че нещо лошо може да се случи, но системата като цяло не знаех това НАСА дори току-що премина през подобен одит, след като загуби предишната си совалка, но въпреки това загуби още една по много подобна причина. Лесно е да се твърди, че организациите и хората следват ясни, логични правила, които могат да бъдат тествани, разбрани и променени, но опитът доказва обратното. Това "Заблуда на Госплан".

Често сравнявам машинното обучение с бази данни, особено релационни - нова фундаментална технология, която промени възможностите на компютърните науки и света около нея, която се превърна в част от всичко, която използваме постоянно, без да го осъзнаваме. Базите данни също имат проблеми и те са от подобно естество: системата може да е изградена върху лоши допускания или лоши данни, но ще бъде трудно забележима и хората, които използват системата, ще правят това, което тя им казва, без да задават въпроси. Има много стари вицове за данъчни служители, които някога са написали името ви грешно, и да ги убедите да поправят грешката е много по-трудно, отколкото действителната промяна на името ви. Има много начини да мислим за това, но не е ясно кое е по-добро: като технически проблем в SQL, или като грешка в версия на Oracle, или като провал на бюрократични институции? Колко трудно е да се намери грешка в процес, която е довела до това, че системата няма функция за корекция на печатни грешки? Възможно ли е това да се разбере, преди хората да започнат да се оплакват?

Този проблем се илюстрира още по-просто от истории, когато шофьори карат в реки поради остарели данни в навигатора. Добре, картите трябва да се актуализират постоянно. Но доколко TomTom е виновен, че колата ви е била издухана в морето?

Причината да казвам това е, че да, пристрастията към машинното обучение ще създадат проблеми. Но тези проблеми ще бъдат подобни на тези, с които сме се сблъсквали в миналото, и могат да бъдат забелязани и разрешени (или не) толкова добре, колкото сме били в състояние в миналото. Следователно, сценарий, при който пристрастията на ИИ причиняват вреда, е малко вероятно да се случи на старши изследователи, работещи в голяма организация. Най-вероятно някой незначителен технологичен изпълнител или продавач на софтуер ще напише нещо на колене, използвайки компоненти с отворен код, библиотеки и инструменти, които не разбират. И нещастният клиент ще купи фразата „изкуствен интелект“ в описанието на продукта и, без да задава въпроси, ще я раздаде на своите нископлатени служители, като им нареди да правят това, което AI казва. Точно това се случи с базите данни. Това не е проблем с изкуствения интелект или дори софтуерен проблем. Това е човешкият фактор.

Заключение

Машинното обучение може да направи всичко, на което можете да научите куче - но никога не можете да сте сигурни на какво точно сте научили кучето.

Често чувствам, че терминът „изкуствен интелект“ само пречи на разговори като този. Този термин създава погрешното впечатление, че всъщност ние сме го създали – този интелект. Че сме на път към HAL9000 или Skynet - нещо, което всъщност разбира. Но не. Това са само машини и е много по-точно да ги сравним с, да речем, пералня. Тя пере много по-добре от човек, но ако поставите чинии в нея вместо пране, тя... ще ги изпере. Съдовете дори ще станат чисти. Но това няма да е това, което очаквахте и това няма да се случи, защото системата има някакви предразсъдъци по отношение на ястията. Пералнята не знае какви са чиниите или какви са дрехите - тя е просто пример за автоматизация, концептуално не по-различна от това как процесите са били автоматизирани преди.

Независимо дали говорим за коли, самолети или бази данни, тези системи ще бъдат едновременно много мощни и много ограничени. Те ще зависят изцяло от това как хората използват тези системи, дали намеренията им са добри или лоши и доколко разбират как работят.

Следователно да се каже, че „изкуственият интелект е математика, така че не може да има пристрастия“, е напълно невярно. Но е също толкова невярно да се каже, че машинното обучение е „субективно по природа“. Машинното обучение открива модели в данните и какви модели открива зависи от данните, а данните зависят от нас. Точно както правим с тях. Машинното обучение прави някои неща много по-добре от нас - но кучетата например са много по-ефективни от хората при откриването на наркотици, което не е причина да ги използваме като свидетели и да правим преценки въз основа на техните показания. А кучетата, между другото, са много по-умни от всяка система за машинно обучение.

превод: Диана Лецкая.
Редактиране: Алексей Иванов.
Общността: @PonchikNews.

Източник: www.habr.com