О пристрасности вештачке интелигенције

тл; др:

• Машинско учење тражи обрасце у подацима. Али вештачка интелигенција може бити „пристрасна“ – то јест, пронаћи обрасце који су нетачни. На пример, систем за откривање рака коже заснован на фотографијама може обратити посебну пажњу на слике снимљене у ординацији. Машинско учење не може разумети: његови алгоритми само идентификују обрасце у бројевима, а ако подаци нису репрезентативни, биће и резултат њихове обраде. А откривање таквих грешака може бити тешко због саме механике машинског учења.
• Најочигледнији и најзастрашујући проблем је људска разноликост. Постоји много разлога зашто подаци о људима могу изгубити објективност чак иу фази прикупљања. Али немојте мислити да овај проблем погађа само људе: потпуно исте потешкоће настају када покушавате да откријете поплаву у складишту или неисправну гасну турбину. Неки системи могу бити пристрасни према боји коже, други ће бити пристрасни према Сиеменс сензорима.
• Такви проблеми нису нови за машинско учење и далеко од тога да су јединствени за њега. У било којој сложеној структури се праве погрешне претпоставке и увек је тешко разумети зашто је донета одређена одлука. Морамо да се боримо против овога на свеобухватан начин: креирамо алате и процесе за верификацију - и образујемо кориснике тако да не следе слепо препоруке вештачке интелигенције. Машинско учење ради неке ствари много боље него што можемо – али пси су, на пример, много ефикаснији од људи у откривању дроге, што није разлог да их користимо као сведоке и доносимо пресуде на основу њиховог сведочења. А пси су, иначе, много паметнији од било ког система машинског учења.

Машинско учење је један од најважнијих фундаменталних технолошких трендова данашњице. Ово је један од главних начина на који ће технологија променити свет око нас у наредној деценији. Неки аспекти ових промена су разлог за забринутост. На пример, потенцијални утицај машинског учења на тржиште рада, или његово коришћење у неетичке сврхе (на пример, од стране ауторитарних режима). Постоји још један проблем који овај пост решава: пристрасност вештачке интелигенције.

Ово није лака прича.

Гоогле-ов АИ може да пронађе мачке. Ова вест из 2012. је тада била нешто посебно.

Шта је „АИ пристрасност“?

„Необрађени подаци“ су и оксиморон и лоша идеја; подаци морају бити добро и пажљиво припремљени. — Џефри Бокер

Негде пре 2013. године, да бисте направили систем који, рецимо, препознаје мачке на фотографијама, морали сте да опишете логичне кораке. Како пронаћи углове на слици, препознати очи, анализирати текстуре за крзно, пребројати шапе и тако даље. Затим спојите све компоненте и откријте да то заправо не функционише. Слично као механички коњ - теоретски може да се направи, али у пракси је превише сложен да би се описали. Крајњи резултат су стотине (или чак хиљаде) руком писаних правила. И ни један радни модел.

Са појавом машинског учења, престали смо да користимо „ручна“ правила за препознавање одређеног објекта. Уместо тога, узимамо хиљаду узорака „ово“, Кс, хиљаду узорака „друго“, И, и дајемо компјутеру да направи модел на основу њихове статистичке анализе. Затим овом моделу дајемо неке узорке података и он са одређеном прецизношћу одређује да ли се уклапа у један од скупова. Машинско учење генерише модел из података, а не од човека који га пише. Резултати су импресивни, посебно у области препознавања слика и образаца, и зато се цела технолошка индустрија сада сели на машинско учење (МЛ).

Али то није тако једноставно. У стварном свету, ваше хиљаде примера Кс или И такође садрже А, Б, Ј, Л, О, Р, па чак и Л. Они можда неће бити равномерно распоређени, а неки се могу појавити тако често да ће систем платити више обратите пажњу на њих него на предмете који вас занимају.

Шта то значи у пракси? Мој омиљени пример је систем за препознавање слика погледај травнато брдо и реци: "овца". Јасно је зашто: већина примера фотографија „овца“ је снимљена на ливадама где живе, а на овим сликама трава заузима много више простора од малих белих пахуљица, а систем сматра да је она најважнија. .

Има озбиљнијих примера. Једна скорашња пројекат за откривање рака коже на фотографијама. Испоставило се да дерматолози често фотографишу лењир заједно са манифестацијама рака коже како би забележили величину формација. На примерима фотографија здраве коже нема лењира. За АИ систем, такви лењири (тачније, пиксели које дефинишемо као „лењир“) постали су једна од разлика између скупова примера, а понекад и важнији од малог осипа на кожи. Дакле, систем створен за идентификацију рака коже понекад уместо тога препознаје владаре.

Кључна ствар овде је да систем нема семантичко разумевање онога што гледа. Гледамо скуп пиксела и видимо у њима овцу, кожу или лењире, али систем је само бројевна права. Она не види тродимензионални простор, не види објекте, текстуре или овце. Она једноставно види обрасце у подацима.

Потешкоћа у дијагностицирању таквих проблема је у томе што се неуронска мрежа (модел који генерише ваш систем машинског учења) састоји од хиљада стотина хиљада чворова. Не постоји лак начин да погледате модел и видите како он доноси одлуку. Имати такав начин значило би да је процес довољно једноставан да се сва правила опише ручно, без употребе машинског учења. Људи се брину да је машинско учење постало нешто попут црне кутије. (Објаснићу мало касније зашто је ово поређење још увек превише.)

Ово је, уопштено говорећи, проблем пристрасности у вештачкој интелигенцији или машинском учењу: систем за проналажење образаца у подацима може пронаћи погрешне обрасце, а ви то можда нећете приметити. Ово је основна карактеристика технологије и очигледно је свима који раде са њом у академским круговима и великим технолошким компанијама. Али њене последице су сложене, као и наша могућа решења за те последице.

Хајде да прво разговарамо о последицама.

АИ може, имплицитно за нас, да направи избор у корист одређених категорија људи, на основу великог броја неприметних сигнала

Сценарији АИ пристрасности

Најочигледније и застрашујуће, овај проблем се може манифестовати када је у питању људска различитост. Недавно била је гласинада је Амазон покушао да изгради систем машинског учења за почетни скрининг кандидата за посао. Будући да међу радницима Амазона има више мушкараца, примери „успешног запошљавања“ су такође чешће мушкарци, а било је више мушкараца у одабиру животописа које је систем предложио. Амазон је то приметио и није пустио систем у производњу.

Најважније у овом примеру је да се причало да систем фаворизује мушке кандидате, упркос чињеници да пол није наведен у животопису. Систем је видео и друге обрасце у примерима „добрих запослених“: на пример, жене могу да користе посебне речи да опишу достигнућа или имају посебне хобије. Наравно, систем није знао ни шта је „хокеј“, ни ко су „људи“, ни шта је „успех“ – једноставно је извршио статистичку анализу текста. Али обрасци које је видела људи би највероватније остали непримећени, а неке од њих (на пример, чињеница да људи различитог пола различито описују успех) вероватно би нам било тешко да видимо чак и када бисмо их погледали.

Даље - горе. Систем машинског учења који је веома добар у проналажењу рака на бледој кожи можда неће бити тако добар на тамној кожи, или обрнуто. Не нужно због пристрасности, већ зато што вероватно морате да направите посебан модел за другу боју коже, бирајући различите карактеристике. Системи машинског учења нису заменљиви чак ни у тако уској области као што је препознавање слика. Морате да подесите систем, понекад само путем покушаја и грешака, да бисте добро управљали функцијама у подацима који вас занимају док не постигнете тачност коју желите. Али оно што можда нећете приметити је да је систем тачан 98% времена са једном групом, а само 91% (чак тачније од људске анализе) са другом.

До сада сам користио углавном примере који се односе на људе и њихове карактеристике. Дискусија око овог проблема углавном се фокусира на ову тему. Али важно је разумети да је пристрасност према људима само део проблема. Користићемо машинско учење за многе ствари, а грешка узорковања ће бити релевантна за све њих. С друге стране, ако радите са људима, пристрасност у подацима можда није повезана са њима.

Да бисмо ово разумели, вратимо се на пример рака коже и размотримо три хипотетичке могућности за отказ система.

1. Хетерогена дистрибуција људи: неуравнотежен број фотографија различитих нијанси коже, што доводи до лажних позитивних или лажних негатива због пигментације.
2. Подаци на којима је систем обучен садрже често јављање и хетерогено распоређено обележје које није повезано са људима и нема дијагностичку вредност: лењир на фотографијама рака коже или трава на фотографијама оваца. У овом случају, резултат ће бити другачији ако систем пронађе пикселе на слици нечега што људско око идентификује као „лењир“.
3. Подаци садрже карактеристику треће стране коју особа не може видети чак и ако је тражи.

Шта то значи? А приори знамо да подаци могу различито представљати различите групе људи, и у најмању руку можемо планирати да тражимо такве изузетке. Другим речима, постоји много друштвених разлога за претпоставку да подаци о групама људи већ садрже неку пристрасност. Ако погледамо фотографију са лењиром, видећемо овај лењир – једноставно смо га раније игнорисали, знајући да то није битно, и заборављајући да систем ништа не зна.

Али шта ако су све ваше фотографије нездраве коже снимљене у канцеларији под ужареним светлом, а ваша здрава кожа под флуоресцентним светлом? Шта ако сте, након што сте завршили снимање здраве коже, пре снимања нездраве коже, ажурирали оперативни систем на телефону, а Аппле или Гугл мало променили алгоритам за смањење шума? Човек то не може приметити, ма колико тражио такве особине. Али систем употребе машина ће то одмах видети и користити. Она не зна ништа.

До сада смо говорили о лажним корелацијама, али такође може бити да су подаци тачни и резултати тачни, али не желите да их користите из етичких, правних или управљачких разлога. Неке јурисдикције, на пример, не дозвољавају женама да остваре попуст на осигурање, иако су жене можда сигурнији возачи. Лако можемо замислити систем који би, анализирајући историјске податке, женским именима доделио нижи фактор ризика. У реду, хајде да уклонимо имена из избора. Али запамтите пример Амазона: систем може да одреди пол на основу других фактора (иако не зна који је пол, па чак ни шта је аутомобил), а то нећете приметити све док регулатор ретроактивно не анализира ваше тарифе. понудити и наплатити бићете кажњени.

Коначно, често се претпоставља да ћемо такве системе користити само за пројекте који укључују људе и друштвене интеракције. Ово није у реду. Ако правите гасне турбине, вероватно ћете желети да примените машинско учење на телеметрију коју преносе десетине или стотине сензора на вашем производу (аудио, видео, температурни и било који други сензори генеришу податке који се врло лако могу прилагодити за креирање машине модел учења). Хипотетички, могли бисте рећи: „Ево података од хиљаду турбина које су отказале пре него што су отказале, а ево података од хиљаду турбина које нису отказале. Направите модел да бисте рекли која је разлика између њих." Е, сад замислите да су Сиеменс сензори уграђени на 75% лоших турбина, а само на 12% добрих (нема везе са кваровима). Систем ће изградити модел за проналажење турбина са Сиеменс сензорима. Упс!

Слика — Мориц Хардт, УЦ Беркелеи

Управљање пристрасношћу АИ

Шта можемо да урадимо поводом тога? Проблему можете приступити из три угла:

1. Методолошка строгост у прикупљању и управљању подацима за обуку система.
2. Технички алати за анализу и дијагностику понашања модела.
3. Обучите, образујте и будите пажљиви када имплементирате машинско учење у производе.

У Молијеровој књизи „Буржуј у племству“ постоји шала: једном човеку је речено да се књижевност дели на прозу и поезију, и он је био одушевљен када је открио да је целог живота говорио у прози, а да то није знао. Тако се вероватно данас осећају статистичари: не схватајући, они су своју каријеру посветили вештачкој интелигенцији и грешци узорковања. Тражење грешке узорковања и брига о њој није нов проблем, само треба систематски приступити његовом решавању. Као што је горе поменуто, у неким случајевима је то заправо лакше урадити проучавањем проблема у вези са подацима о људима. А приори претпостављамо да можда имамо предрасуде у вези са различитим групама људи, али нам је тешко и замислити предрасуде о Сиеменс сензорима.

Оно што је ново у свему овоме, наравно, јесте да људи више не раде статистичке анализе директно. Спроводе га машине које стварају велике, сложене моделе које је тешко разумети. Питање транспарентности је један од главних аспеката проблема пристрасности. Бојимо се да систем није само пристрасан, већ да не постоји начин да се открије његова пристрасност и да се машинско учење разликује од других облика аутоматизације, за које се претпоставља да се састоје од јасних логичких корака који се могу тестирати.

Овде постоје два проблема. Можда ћемо и даље моћи да спроведемо неку врсту ревизије система машинског учења. А ревизија било ког другог система заправо није лакша.

Прво, један од праваца савремених истраживања у области машинског учења је потрага за методама за идентификацију важне функционалности система машинског учења. Међутим, машинско учење (у свом тренутном стању) је потпуно нова област науке која се брзо мења, па немојте мислити да ствари које су данас немогуће не могу ускоро постати сасвим стварне. Пројекат ОпенАИ - занимљив пример овога.

Друго, идеја да можете тестирати и разумети процес доношења одлука у постојећим системима или организацијама је добра у теорији, али тако-тако у пракси. Разумевање начина на који се доносе одлуке у великој организацији није лако. Чак и ако постоји формални процес доношења одлука, он не одражава начин на који људи заправо комуницирају, а они сами често немају логичан, систематски приступ доношењу својих одлука. Као што рече мој колега Вијаи Панде, људи су такође црне кутије.

Узмите хиљаду људи у неколико предузећа и институција које се преклапају и проблем постаје још сложенији. Знамо након чињенице да је спејс шатл био предодређен да се распадне по повратку, а појединци у НАСА-и су имали информације које су им дале разлог да мисле да би се нешто лоше могло догодити, али систем обично Нисам знао ово. НАСА је чак прошла сличну ревизију након што је изгубила свој претходни шатл, а ипак је изгубила још један из веома сличног разлога. Лако је тврдити да организације и људи следе јасна, логична правила која се могу тестирати, разумети и променити — али искуство доказује супротно. овај "Госпланова заблуда'.

Често упоређујем машинско учење са базама података, посебно релационим – новом фундаменталном технологијом која је променила могућности рачунарства и света око ње, која је постала део свега, коју стално користимо а да тога нисмо свесни. Базе података такође имају проблема, и они су сличне природе: систем може бити изграђен на лошим претпоставкама или лошим подацима, али ће то бити тешко приметити, а људи који користе систем радиће оно што им он каже без постављања питања. Постоји много старих вицева о порезницима који су некада погрешно написали ваше име, а убедити их да исправе грешку је много теже него да вам промене име. Постоји много начина да се размишља о томе, али није јасно шта је боље: као технички проблем у СКЛ-у, или као грешка у издању Орацлеа, или као неуспех бирократских институција? Колико је тешко пронаћи грешку у процесу који је довео до тога да систем нема функцију исправљања грешке у куцању? Да ли је ово могло да се схвати пре него што су људи почели да се жале?

Овај проблем још једноставније илуструју приче када возачи возе у реке због застарелих података у навигатору. У реду, мапе треба стално да се ажурирају. Али колико је ТомТом крив што је ваш аутомобил однео у море?

Разлог зашто ово кажем је тај да ће пристрасност машинског учења створити проблеме. Али ови проблеми ће бити слични онима са којима смо се суочавали у прошлости, и могу се приметити и решити (или не) једнако добро као што смо то могли у прошлости. Према томе, мало је вероватно да ће се десити сценарио у којем АИ пристрасност наноси штету старијим истраживачима који раде у великој организацији. Највероватније ће неки безначајни технолошки извођач или продавац софтвера написати нешто на коленима, користећи компоненте отвореног кода, библиотеке и алате које не разумеју. А несрећни клијент ће купити фразу „вештачка интелигенција“ у опису производа и, без питања, дистрибуирати је својим ниско плаћеним запосленима, наређујући им да раде оно што АИ каже. Управо то се десило са базама података. Ово није проблем вештачке интелигенције, па чак ни софтверски проблем. Ово је људски фактор.

Закључак

Машинско учење може учинити све што можете научити пса - али никада не можете бити сигурни шта сте тачно научили пса.

Често се осећам као да термин „вештачка интелигенција“ само омета овакве разговоре. Овај израз даје лажан утисак да смо га ми заправо створили – ову интелигенцију. Да смо на путу за ХАЛ9000 или Скинет - нешто што је заправо разуме. Али не. То су само машине, а много је тачније упоредити их са, рецимо, веш машином. Она пере веш много боље од човека, али ако ставите судове у њу уместо веша, она... ће их опрати. Посуђе ће чак постати чисто. Али ово неће бити оно што сте очекивали, а то се неће догодити јер систем има било какве предрасуде у погледу посуђа. Машина за прање веша не зна шта је посуђе или шта је одећа - то је само пример аутоматизације, концептуално не разликује од начина на који су процеси аутоматизовани раније.

Било да говоримо о аутомобилима, авионима или базама података, ови системи ће бити и веома моћни и веома ограничени. Они ће у потпуности зависити од тога како људи користе ове системе, да ли су њихове намере добре или лоше, и колико разумеју како они функционишу.

Стога је потпуно погрешно рећи да је „вештачка интелигенција математика, тако да не може да има предрасуда“. Али подједнако је погрешно рећи да је машинско учење „субјективне природе“. Машинско учење проналази обрасце у подацима, а које обрасце проналази зависи од података, а подаци зависе од нас. Баш као што радимо са њима. Машинско учење ради неке ствари много боље него што можемо – али пси су, на пример, много ефикаснији од људи у откривању дроге, што није разлог да их користимо као сведоке и доносимо пресуде на основу њиховог сведочења. А пси су, иначе, много паметнији од било ког система машинског учења.

Превод: Диана Летскаиа.
Уређивање: Алексеј Иванов.
Заједница: @ПонцхикНевс.

Извор: ввв.хабр.цом