tl; dr:
- Strojno učenje išče vzorce v podatkih. Toda umetna inteligenca je lahko »pristranska« – to pomeni, da najde vzorce, ki niso pravilni. Na primer, sistem za odkrivanje kožnega raka, ki temelji na fotografijah, bi lahko posebno pozornost posvetil slikam, posnetim v zdravniški ordinaciji. Strojno učenje ne more razumeti: njegovi algoritmi prepoznajo samo vzorce v številkah in če podatki niso reprezentativni, bo takšen tudi rezultat njihove obdelave. In lovljenje takšnih hroščev je lahko težavno zaradi same mehanike strojnega učenja.
- Najbolj očitno in zastrašujoče problematično področje je človeška raznolikost. Obstaja veliko razlogov, zakaj lahko podatki o ljudeh izgubijo objektivnost že v fazi zbiranja. Vendar ne mislite, da ta težava prizadene samo ljudi: popolnoma enake težave se pojavijo, ko poskušate zaznati poplavo v skladišču ali okvarjeno plinsko turbino. Nekateri sistemi so morda pristranski glede na barvo kože, drugi pa bodo pristranski glede na senzorje Siemens.
- Takšni problemi niso novi za strojno učenje in še zdaleč niso edinstveni zanj. V vsaki zapleteni strukturi so narejene napačne predpostavke in vedno je težko razumeti, zakaj je bila določena odločitev sprejeta. Proti temu se moramo boriti na celovit način: ustvariti orodja in postopke za preverjanje – in poučiti uporabnike, da ne bodo slepo sledili priporočilom AI. Strojno učenje res naredi nekatere stvari veliko bolje kot mi – a psi so na primer pri odkrivanju mamil veliko bolj učinkoviti od ljudi, kar pa ni razlog, da bi jih uporabljali kot priče in na podlagi njihovega pričevanja sodili. Mimogrede, psi so veliko pametnejši od katerega koli sistema strojnega učenja.
Strojno učenje je danes eden najpomembnejših temeljnih tehnoloških trendov. To je eden glavnih načinov, kako bo tehnologija spremenila svet okoli nas v naslednjem desetletju. Nekateri vidiki teh sprememb so razlog za skrb. Na primer potencialni vpliv strojnega učenja na trg dela ali njegova uporaba v neetične namene (na primer s strani avtoritarnih režimov). Ta objava obravnava še en problem: pristranskost umetne inteligence.
To ni lahka zgodba.
Googlov AI lahko najde mačke. Ta novica iz leta 2012 je bila takrat nekaj posebnega.
Kaj je »AI Bias«?
»Neobdelani podatki« so hkrati oksimoron in slaba ideja; podatki morajo biti dobro in skrbno pripravljeni. — Geoffrey Boker
Nekje pred letom 2013, da bi naredil sistem, ki recimo prepoznava mačke na fotografijah, si moral opisati logične korake. Kako najti vogale na sliki, prepoznati oči, analizirati teksture za dlako, prešteti tace itd. Nato sestavite vse komponente in ugotovite, da v resnici ne deluje. Podobno kot mehanski konj – teoretično ga je mogoče narediti, v praksi pa je preveč zapleten, da bi ga opisali. Končni rezultat je na stotine (ali celo na tisoče) ročno napisanih pravil. In niti enega delujočega modela.
S pojavom strojnega učenja smo prenehali uporabljati »ročna« pravila za prepoznavanje določenega predmeta. Namesto tega vzamemo tisoč vzorcev »tega«, X, tisoč vzorcev »drugega«, Y, in damo računalniku zgraditi model na podlagi njihove statistične analize. Temu modelu nato damo nekaj vzorčnih podatkov in z določeno natančnostjo ugotovi, ali ustreza enemu od nizov. Strojno učenje ustvari model iz podatkov in ne iz človekovega zapisa. Rezultati so impresivni, zlasti na področju prepoznavanja slik in vzorcev, zato se celotna tehnološka industrija zdaj seli na strojno učenje (ML).
A ni tako preprosto. V resničnem svetu na tisoče vaših primerov X ali Y vsebuje tudi A, B, J, L, O, R in celo L. Ti morda niso enakomerno porazdeljeni in nekateri se lahko pojavijo tako pogosto, da bo sistem plačal več pozornost nanje kot na predmete, ki vas zanimajo.
Kaj to pomeni v praksi? Moj najljubši primer je sistem za prepoznavanje slik . Jasno zakaj: večina primerov fotografij "ovc" je posnetih na travnikih, kjer živijo, in na teh slikah trava zavzame veliko več prostora kot mali beli puhki in prav trava je za sistem najpomembnejša .
Obstajajo resnejši primeri. Ena nedavna za odkrivanje kožnega raka na fotografijah. Izkazalo se je, da dermatologi pogosto fotografirajo ravnilo skupaj z manifestacijami kožnega raka, da zabeležijo velikost formacij. Na vzorčnih fotografijah zdrave kože ni ravnil. Za sistem AI so takšna ravnila (natančneje piksli, ki jih definiramo kot "ravnilo") postala ena od razlik med nizi primerov in včasih pomembnejša od majhnega izpuščaja na koži. Tako je sistem, ustvarjen za prepoznavanje kožnega raka, namesto tega včasih prepoznal vladarje.
Ključna točka pri tem je, da sistem nima semantičnega razumevanja tega, kar gleda. Pogledamo niz slikovnih pik in v njih vidimo ovco, kožo ali ravnila, vendar je sistem le številska premica. Ne vidi tridimenzionalnega prostora, ne vidi predmetov, tekstur ali ovac. Preprosto vidi vzorce v podatkih.
Težava pri diagnosticiranju takšnih težav je v tem, da je nevronska mreža (model, ki ga ustvari vaš sistem strojnega učenja) sestavljena iz več tisoč sto tisoč vozlišč. Ni preprostega načina, da pogledate v model in vidite, kako se odloča. Če bi imeli takšen način, bi to pomenilo, da je postopek dovolj preprost za opis vseh pravil ročno, brez uporabe strojnega učenja. Ljudi skrbi, da je strojno učenje postalo nekakšna črna skrinjica. (Zakaj je ta primerjava še vedno preveč, bom razložil malo kasneje.)
To je na splošno problem pristranskosti pri umetni inteligenci ali strojnem učenju: sistem za iskanje vzorcev v podatkih lahko najde napačne vzorce, vi pa tega morda ne opazite. To je temeljna značilnost tehnologije in je očitna vsem, ki z njo delajo v akademskih krogih in velikih tehnoloških podjetjih. Toda njegove posledice so zapletene, prav tako pa so zapletene tudi naše možne rešitve za te posledice.
Najprej se pogovorimo o posledicah.
AI se lahko, implicitno za nas, odloči v korist določenih kategorij ljudi na podlagi velikega števila neopaznih signalov
Scenariji pristranskosti AI
Najbolj očitno in zastrašujoče je, da se lahko ta problem pokaže, ko gre za človeško raznolikost. Pred kratkim da je Amazon poskušal zgraditi sistem strojnega učenja za začetno preverjanje kandidatov za zaposlitev. Ker je med Amazonovimi delavci več moških, so tudi primeri »uspešnega zaposlovanja« pogosteje moški, v izboru življenjepisov, ki jih predlaga sistem, pa je bilo več moških. Amazon je to opazil in sistema ni spustil v proizvodnjo.
Najpomembnejša stvar v tem primeru je, da se je govorilo, da sistem daje prednost moškim kandidatom, kljub dejstvu, da v življenjepisu ni bil naveden spol. Sistem je opazil druge vzorce v primerih "dobre zaposlitve": na primer, ženske bi lahko uporabile posebne besede za opisovanje dosežkov ali imele posebne hobije. Seveda sistem ni vedel, kaj je »hokej«, kdo so »ljudje« ali kaj je »uspeh« - preprosto je izvedel statistično analizo besedila. Toda vzorcev, ki jih je videla, ljudje najverjetneje ne bi opazili, nekatere izmed njih (na primer dejstvo, da ljudje različnih spolov različno opisujejo uspeh) pa bi verjetno težko opazili, tudi če bi jih pogledali.
Nadalje - slabše. Sistem strojnega učenja, ki je zelo dober pri iskanju raka na bledi koži, morda ne bo deloval tako dobro na temni koži ali obratno. Ne nujno zaradi pristranskosti, ampak zato, ker boste verjetno morali zgraditi ločen model za drugo barvo kože in izbrati drugačne značilnosti. Sistemi strojnega učenja niso zamenljivi niti na tako ozkem področju, kot je prepoznavanje slik. Sistem morate prilagoditi, včasih samo s poskusi in napakami, da dobro obvladate funkcije v podatkih, ki vas zanimajo, dokler ne dosežete želene natančnosti. Toda morda ne boste opazili, da je sistem pri eni skupini natančen 98 % časa, pri drugi pa le 91 % (celo natančnejši od človeške analize).
Doslej sem uporabljal predvsem primere, ki se nanašajo na ljudi in njihove lastnosti. Razprava o tem problemu se osredotoča predvsem na to temo. Vendar je pomembno razumeti, da je pristranskost do ljudi le del problema. Strojno učenje bomo uporabljali za veliko stvari in napaka vzorčenja bo pomembna za vse. Po drugi strani pa, če delate z ljudmi, pristranskost v podatkih morda ni povezana z njimi.
Da bi to razumeli, se vrnimo k primeru kožnega raka in razmislimo o treh hipotetičnih možnostih za okvaro sistema.
- Heterogena porazdelitev ljudi: neuravnoteženo število fotografij različnih odtenkov kože, kar vodi do lažno pozitivnih ali lažno negativnih fotografij zaradi pigmentacije.
- Podatki, na katerih se sistem usposablja, vsebujejo pogosto pojavljajočo in heterogeno porazdeljeno značilnost, ki ni povezana z ljudmi in nima diagnostične vrednosti: ravnilo na fotografijah kožnega raka ali trava na fotografijah ovac. V tem primeru bo rezultat drugačen, če sistem najde piksle na sliki nečesa, kar človeško oko identificira kot "ravnilo".
- Podatki vsebujejo lastnost tretje osebe, ki je oseba ne vidi, tudi če jo išče.
Kaj to pomeni? A priori vemo, da lahko podatki različno predstavljajo različne skupine ljudi, in vsaj načrtujemo, da bomo poiskali takšne izjeme. Z drugimi besedami, obstaja veliko družbenih razlogov za domnevo, da podatki o skupinah ljudi že vsebujejo nekaj pristranskosti. Če pogledamo fotografijo z ravnilom, bomo videli to ravnilo - prej smo ga preprosto ignorirali, saj smo vedeli, da ni pomembno, in pozabili, da sistem ne ve ničesar.
Kaj pa, če bi bile vse vaše fotografije nezdrave kože posnete v pisarni pod žarnico, vaša zdrava koža pa pod fluorescenčno svetlobo? Kaj pa, če bi po končanem fotografiranju zdrave kože, pred slikanjem nezdrave kože, posodobili operacijski sistem na telefonu, Apple ali Google pa bi nekoliko spremenila algoritem za zmanjšanje hrupa? Človek tega ne more opaziti, ne glede na to, koliko išče takšne značilnosti. Toda sistem strojne uporabe bo to takoj videl in uporabil. Ona ne ve ničesar.
Doslej smo govorili o lažnih korelacijah, lahko pa je tudi, da so podatki točni in rezultati pravilni, vendar jih ne želite uporabiti zaradi etičnih, pravnih ali upravljavskih razlogov. Nekatere jurisdikcije na primer ženskam ne dovoljujejo popusta pri zavarovanju, čeprav so ženske varnejše voznice. Zlahka si predstavljamo sistem, ki bi pri analizi zgodovinskih podatkov ženskim imenom pripisal nižji faktor tveganja. V redu, odstranimo imena iz izbora. Toda spomnite se primera Amazon: sistem lahko določi spol na podlagi drugih dejavnikov (čeprav ne ve, kaj je spol ali celo, kaj je avto), in tega ne boste opazili, dokler regulator ne bo retroaktivno analiziral tarif, ki jih ponudbo in vam zaračuna, boste kaznovani.
Končno se pogosto domneva, da bomo takšne sisteme uporabljali samo za projekte, ki vključujejo ljudi in družbene interakcije. To je narobe. Če izdelujete plinske turbine, boste verjetno želeli uporabiti strojno učenje za telemetrijo, ki jo prenaša na desetine ali stotine senzorjev na vašem izdelku (avdio, video, temperaturni in drugi senzorji ustvarjajo podatke, ki jih je mogoče zelo enostavno prilagoditi za ustvarjanje stroja model učenja). Hipotetično bi lahko rekli: »Tu so podatki o tisoč turbinah, ki so odpovedale, preden so odpovedale, in tukaj so podatki o tisočih turbinah, ki niso odpovedale. Zgradite model, ki bo povedal, kakšna je razlika med njima.« No, zdaj pa si predstavljajte, da so Siemensovi senzorji nameščeni na 75% slabih turbin in le na 12% dobrih (ni povezave z okvarami). Sistem bo zgradil model za iskanje turbin s senzorji Siemens. Ups!
Slika — Moritz Hardt, UC Berkeley
Upravljanje pristranskosti AI
Kaj lahko storimo glede tega? K vprašanju lahko pristopite s treh zornih kotov:
- Metodološka strogost pri zbiranju in upravljanju podatkov za usposabljanje sistema.
- Tehnična orodja za analizo in diagnosticiranje obnašanja modela.
- Usposabljajte, izobražujte in bodite previdni pri implementaciji strojnega učenja v izdelke.
V Molièrovi knjigi »Meščan v plemstvu« je šala: nekemu človeku so rekli, da se literatura deli na prozo in poezijo, in z veseljem je odkril, da je vse življenje govoril v prozi, ne da bi se tega zavedal. Verjetno se danes tako počutijo statistiki: ne da bi se tega zavedali, so svojo kariero posvetili umetni inteligenci in vzorčni napaki. Iskanje vzorčne napake in obremenjevanje z njo ni nov problem, le k njegovemu reševanju je treba pristopiti sistematično. Kot je navedeno zgoraj, je v nekaterih primerih to dejansko lažje narediti s preučevanjem težav, povezanih s podatki o ljudeh. A priori domnevamo, da imamo morda predsodke do različnih skupin ljudi, vendar si predsodek o senzorjih Siemens težko sploh predstavljamo.
Novo pri vsem tem pa je seveda to, da ljudje ne delajo več neposredno statistične analize. Izvajajo ga stroji, ki ustvarjajo velike, kompleksne modele, ki jih je težko razumeti. Vprašanje transparentnosti je eden glavnih vidikov problema pristranskosti. Bojimo se, da sistem ni samo pristranski, ampak da njegove pristranskosti ni mogoče zaznati in da se strojno učenje razlikuje od drugih oblik avtomatizacije, ki naj bi bila sestavljena iz jasnih logičnih korakov, ki jih je mogoče testirati.
Tukaj sta dve težavi. Morda bomo še lahko izvedli nekakšno revizijo sistemov strojnega učenja. In revizija katerega koli drugega sistema pravzaprav ni nič lažja.
Prvič, ena od smeri sodobnih raziskav na področju strojnega učenja je iskanje metod za prepoznavanje pomembnih funkcionalnosti sistemov strojnega učenja. Kljub temu je strojno učenje (v trenutnem stanju) popolnoma novo področje znanosti, ki se hitro spreminja, zato ne mislite, da stvari, ki so danes nemogoče, kmalu ne morejo postati povsem resnične. Projekt je zanimiv primer tega.
Drugič, zamisel, da lahko preizkusite in razumete proces odločanja obstoječih sistemov ali organizacij, je dobra v teoriji, v praksi pa tako ali tako. Razumeti, kako se sprejemajo odločitve v veliki organizaciji, ni enostavno. Tudi če obstaja uradni proces odločanja, ta ne odraža, kako ljudje dejansko komunicirajo, sami pa pogosto nimajo logičnega, sistematičnega pristopa k sprejemanju svojih odločitev. Kot je rekel kolega , ljudje smo tudi črne skrinjice.
Če vzamemo tisoč ljudi v več prekrivajočih se podjetjih in ustanovah, postane problem še bolj zapleten. Naknadno vemo, da je bilo vesoljskemu raketoplanu usojeno, da se razbije ob vrnitvi, in posamezniki v Nasi so imeli informacije, ki so jim dale razlog za domnevo, da se lahko zgodi kaj slabega, toda sistem na splošno tega nisem vedel. NASA je celo šla skozi podobno revizijo, potem ko je izgubila svoj prejšnji raketoplan, vendar je izgubila še enega iz zelo podobnega razloga. Zlahka je trditi, da organizacije in ljudje sledijo jasnim, logičnim pravilom, ki jih je mogoče preizkusiti, razumeti in spremeniti – vendar izkušnje dokazujejo nasprotno. ta "".
Strojno učenje pogosto primerjam z bazami podatkov, predvsem relacijskimi – novo temeljno tehnologijo, ki je spremenila zmožnosti računalništva in sveta okoli njega, ki je postalo del vsega, kar nenehno uporabljamo, ne da bi se tega zavedali. Težave imajo tudi baze podatkov in so podobne narave: sistem je lahko zgrajen na slabih predpostavkah ali slabih podatkih, vendar ga bo težko opaziti, ljudje, ki uporabljajo sistem, pa bodo naredili, kar jim reče, brez vprašanj. Obstaja veliko starih šal o davčnih osebah, ki so nekoč napačno črkovale vaše ime, in prepričati jih, da popravijo napako, je veliko težje kot dejansko spremeniti svoje ime. Obstaja veliko načinov razmišljanja o tem, vendar ni jasno, kaj je boljše: kot tehnična težava v SQL ali kot napaka v izdaji Oracle ali kot napaka birokratskih institucij? Kako težko je najti napako v procesu, zaradi katere sistem nima funkcije za popravljanje tipkarskih napak? Bi se to lahko ugotovilo, preden so se ljudje začeli pritoževati?
Še preprosteje to težavo ponazarjajo zgodbe, ko vozniki zapeljejo v reke zaradi zastarelih podatkov v navigatorju. V redu, zemljevide je treba nenehno posodabljati. Koliko pa je TomTom kriv, da je vaš avto odpihnilo v morje?
Razlog, zakaj to pravim, je, da da, pristranskost strojnega učenja bo povzročila težave. Toda te težave bodo podobne tistim, s katerimi smo se soočali v preteklosti, in jih bo mogoče opaziti in rešiti (ali pa tudi ne) približno tako dobro, kot smo jih lahko v preteklosti. Zato je malo verjetno, da bi se scenarij, v katerem pristranskost AI povzroči škodo, zgodil starejšim raziskovalcem, ki delajo v veliki organizaciji. Najverjetneje bo kakšen nepomemben tehnološki izvajalec ali prodajalec programske opreme nekaj napisal na kolenih, z uporabo odprtokodnih komponent, knjižnic in orodij, ki jih ne razumejo. In nesrečna stranka bo v opisu izdelka kupila besedno zvezo "umetna inteligenca" in jo brez vprašanj razdelila svojim slabo plačanim zaposlenim in jim naročila, naj storijo, kar pravi AI. Prav to se je zgodilo z bazami podatkov. To ni problem umetne inteligence ali celo problem programske opreme. To je človeški faktor.
Zaključek
Strojno učenje lahko naredi vse, kar lahko naučite psa – vendar nikoli ne morete biti prepričani, kaj točno ste psa naučili.
Pogosto se mi zdi, da izraz »umetna inteligenca« samo ovira tovrstne pogovore. Ta izraz daje napačen vtis, da smo jo pravzaprav mi ustvarili – to inteligenco. Da smo na poti do HAL9000 ali Skyneta - nekaj, kar pravzaprav razume. Vendar ne. To so samo stroji in veliko natančneje jih je primerjati z denimo pralnim strojem. Perilo opere veliko bolje kot človek, a če vanjo položite posodo namesto perila, jo bo ... oprala. Posoda bo postala celo čista. A to ne bo tisto, kar ste pričakovali, in to se ne bo zgodilo, ker ima sistem predsodke glede jedi. Pralni stroj ne ve, kaj je posoda ali kaj so oblačila - je samo primer avtomatizacije, ki se konceptualno ne razlikuje od tega, kako so bili procesi avtomatizirani prej.
Ne glede na to, ali govorimo o avtomobilih, letalih ali bazah podatkov, bodo ti sistemi zelo zmogljivi in zelo omejeni. V celoti bodo odvisne od tega, kako ljudje uporabljajo te sisteme, ali so njihovi nameni dobri ali slabi in koliko razumejo, kako delujejo.
Zato je povsem napačno reči, da je "umetna inteligenca matematika, zato ne more imeti pristranskosti". Vendar je enako napačno reči, da je strojno učenje »subjektivne narave«. Strojno učenje najde vzorce v podatkih in kakšne vzorce najde, je odvisno od podatkov, podatki pa so odvisni od nas. Tako kot to, kar počnemo z njimi. Strojno učenje res naredi nekatere stvari veliko bolje kot mi – a psi so na primer pri odkrivanju mamil veliko bolj učinkoviti od ljudi, kar pa ni razlog, da bi jih uporabljali kot priče in na podlagi njihovega pričevanja sodili. Mimogrede, psi so veliko pametnejši od katerega koli sistema strojnega učenja.
Prevod: .
Urejanje: .
Skupnost: .
Vir: www.habr.com