O pristranosti umjetne inteligencije

tl; dr:

• Strojno učenje traži uzorke u podacima. Ali umjetna inteligencija može biti "pristrana" - to jest, pronaći obrasce koji su netočni. Na primjer, sustav za otkrivanje raka kože temeljen na fotografijama mogao bi obratiti posebnu pozornost na slike snimljene u liječničkoj ordinaciji. Strojno učenje ne može razumjeti: njegovi algoritmi identificiraju samo uzorke u brojevima, a ako podaci nisu reprezentativni, takav će biti i rezultat njihove obrade. A hvatanje takvih grešaka može biti teško zbog same mehanike strojnog učenja.
• Najočitije i najzastrašujuće problematično područje je ljudska raznolikost. Mnogo je razloga zašto podaci o ljudima mogu izgubiti objektivnost čak iu fazi prikupljanja. Ali nemojte misliti da ovaj problem pogađa samo ljude: potpuno iste poteškoće nastaju kada pokušavate otkriti poplavu u skladištu ili kvar plinske turbine. Neki sustavi mogu biti pristrani prema boji kože, drugi će biti pristrani prema Siemensovim senzorima.
• Takvi problemi nisu novost u strojnom učenju i nisu samo njemu svojstveni. U svakoj složenoj strukturi stvaraju se pogrešne pretpostavke i uvijek je teško razumjeti zašto je određena odluka donesena. Moramo se boriti protiv toga na sveobuhvatan način: stvoriti alate i procese za provjeru – i educirati korisnike kako ne bi slijepo slijedili preporuke umjetne inteligencije. Strojno učenje čini neke stvari mnogo bolje od nas – ali psi su, primjerice, mnogo učinkovitiji od ljudi u otkrivanju droga, što nije razlog da ih koristimo kao svjedoke i donosimo sudove na temelju njihovih iskaza. A psi su, usput, mnogo pametniji od bilo kojeg sustava strojnog učenja.

Strojno učenje jedan je od najvažnijih temeljnih tehnoloških trendova današnjice. Ovo je jedan od glavnih načina na koji će tehnologija promijeniti svijet oko nas u sljedećem desetljeću. Neki aspekti ovih promjena razlog su za zabrinutost. Na primjer, potencijalni utjecaj strojnog učenja na tržište rada ili njegovo korištenje u neetičke svrhe (na primjer, od strane autoritarnih režima). Postoji još jedan problem kojim se bavi ovaj post: pristranost umjetne inteligencije.

Ovo nije laka priča.

Googleov AI može pronaći mačke. Ova vijest iz 2012. tada je bila nešto posebno.

Što je "AI Bias"?

“Sirovi podaci” su i oksimoron i loša ideja; podaci moraju biti dobro i pažljivo pripremljeni. — Geoffrey Boker

Negdje prije 2013., da biste napravili sustav koji, recimo, prepoznaje mačke na fotografijama, morali ste opisati logične korake. Kako pronaći kutove na slici, prepoznati oči, analizirati teksture krzna, brojati šape i tako dalje. Zatim sastavite sve komponente i otkrijte da to zapravo ne radi. Slično kao mehanički konj - teoretski se može napraviti, ali u praksi je previše složen za opis. Krajnji rezultat su stotine (ili čak tisuće) rukom pisanih pravila. I niti jedan radni model.

S pojavom strojnog učenja prestali smo koristiti "ručna" pravila za prepoznavanje određenog objekta. Umjesto toga, uzimamo tisuću uzoraka "ovog", X, tisuću uzoraka "ostalih", Y, i neka računalo izgradi model na temelju njihove statističke analize. Zatim ovom modelu dajemo neke uzorke podataka i on određuje s određenom preciznošću odgovara li jednom od skupova. Strojno učenje generira model iz podataka, a ne od čovjeka koji ga piše. Rezultati su impresivni, posebno u području prepoznavanja slika i uzoraka, i zato cijela tehnološka industrija sada prelazi na strojno učenje (ML).

Ali nije to tako jednostavno. U stvarnom svijetu, vaše tisuće primjera X ili Y također sadrže A, B, J, L, O, R, pa čak i L. Oni možda nisu ravnomjerno raspoređeni, a neki se mogu pojaviti toliko često da će sustav platiti više obratite pažnju na njih nego na predmete koji vas zanimaju.

Što to znači u praksi? Moj omiljeni primjer je sustav za prepoznavanje slike pogledaj travnato brdo i reci "ovce". Jasno je i zašto: većina oglednih fotografija "ovčica" snimljena je na livadama na kojima žive, a na tim slikama trava zauzima puno više prostora od malih bijelih pahuljica, a upravo je trava ono što sustav smatra najvažnijom .

Ima i ozbiljnijih primjera. Jedna nedavna projekt za otkrivanje raka kože na fotografijama. Ispostavilo se da dermatolozi često fotografiraju ravnalo zajedno s manifestacijama raka kože kako bi zabilježili veličinu formacija. Na primjerima fotografija zdrave kože nema ravnala. Za sustav umjetne inteligencije takva su ravnala (točnije, pikseli koje definiramo kao “ravnalo”) postala jedna od razlika između skupova primjera, a ponekad i važnija od sitnog osipa na koži. Tako je sustav stvoren za prepoznavanje raka kože ponekad umjesto toga prepoznavao vladare.

Ključna točka ovdje je da sustav nema semantičko razumijevanje onoga što gleda. Gledamo skup piksela i u njima vidimo ovcu, kožu ili ravnala, ali sustav je samo brojevni pravac. Ona ne vidi trodimenzionalni prostor, ne vidi predmete, teksture ili ovce. Ona jednostavno vidi uzorke u podacima.

Poteškoća u dijagnosticiranju takvih problema je u tome što se neuronska mreža (model koji generira vaš sustav strojnog učenja) sastoji od tisuća stotina tisuća čvorova. Ne postoji jednostavan način da pogledate model i vidite kako donosi odluku. Imati takav način značilo bi da je proces dovoljno jednostavan da se sva pravila opisuju ručno, bez korištenja strojnog učenja. Ljudi su zabrinuti da je strojno učenje postalo nešto poput crne kutije. (Malo kasnije ću objasniti zašto je ova usporedba ipak previše.)

Ovo je, općenito govoreći, problem pristranosti u umjetnoj inteligenciji ili strojnom učenju: sustav za pronalaženje obrazaca u podacima može pronaći pogrešne uzorke, a vi to možda nećete primijetiti. To je temeljna karakteristika tehnologije i očito je svima koji s njom rade u akademskoj zajednici i velikim tehnološkim tvrtkama. Ali njegove su posljedice složene, kao i naša moguća rješenja za te posljedice.

Razgovarajmo prvo o posljedicama.

AI može, implicitno za nas, napraviti izbor u korist određenih kategorija ljudi, na temelju velikog broja neprimjetnih signala

Scenariji pristranosti AI

Najočiglednije i najstrašnije, ovaj se problem može očitovati kada je u pitanju ljudska raznolikost. Nedavno kolala je glasinada je Amazon pokušao izgraditi sustav strojnog učenja za početnu provjeru kandidata za posao. Budući da među radnicima Amazona ima više muškaraca, i primjeri “uspješnog zapošljavanja” češće su muškarci, a u odabiru životopisa koje je sustav sugerirao bilo je više muškaraca. Amazon je to primijetio i nije pustio sustav u proizvodnju.

Najvažnija stvar u ovom primjeru je da se pričalo da sustav daje prednost muškim kandidatima, unatoč činjenici da u životopisu nije naveden spol. Sustav je uočio druge obrasce u primjerima "dobrog zapošljavanja": na primjer, žene bi mogle koristiti posebne riječi za opisivanje postignuća ili imati posebne hobije. Naravno, sustav nije znao ni što je "hokej", ni tko su "ljudi", ni što je "uspjeh" - jednostavno je izvršio statističku analizu teksta. Ali uzorci koje je vidjela ljudi najvjerojatnije neće primijetiti, a neke od njih (na primjer, činjenica da ljudi različitog spola različito opisuju uspjeh) vjerojatno će nam biti teško uočiti čak i da ih pogledamo.

Dalje - gore. Sustav strojnog učenja koji je vrlo dobar u pronalaženju raka na blijedoj koži možda neće tako dobro funkcionirati na tamnoj koži ili obrnuto. Ne nužno zbog pristranosti, već zato što vjerojatno trebate izgraditi zaseban model za drugu boju kože, birajući različite karakteristike. Sustavi strojnog učenja nisu međusobno zamjenjivi čak ni u tako uskom području kao što je prepoznavanje slika. Morate prilagoditi sustav, ponekad samo metodom pokušaja i pogrešaka, kako biste se dobro snašli u značajkama podataka koji vas zanimaju dok ne postignete točnost koju želite. Ali ono što možda nećete primijetiti jest da je sustav točan 98% vremena s jednom grupom, a samo 91% (čak i točnije od ljudske analize) s drugom.

Do sada sam uglavnom koristio primjere koji se odnose na ljude i njihove karakteristike. Rasprava oko ovog problema uglavnom se fokusira na ovu temu. Ali važno je shvatiti da je predrasuda prema ljudima samo dio problema. Koristit ćemo strojno učenje za mnoge stvari, a pogreška uzorkovanja bit će relevantna za sve njih. S druge strane, ako radite s ljudima, pristranost u podacima možda nije povezana s njima.

Da bismo ovo razumjeli, vratimo se primjeru raka kože i razmotrimo tri hipotetske mogućnosti za kvar sustava.

1. Heterogena distribucija ljudi: neuravnotežen broj fotografija različitih tonova kože, što dovodi do lažno pozitivnih ili lažno negativnih fotografija zbog pigmentacije.
2. Podaci na kojima se sustav obučava sadrže čestu i heterogeno raspoređenu značajku koja nije povezana s ljudima i nema dijagnostičku vrijednost: ravnalo na fotografijama raka kože ili trava na fotografijama ovaca. U ovom slučaju, rezultat će biti drugačiji ako sustav pronađe piksele na slici nečega što ljudsko oko identificira kao "ravnalo".
3. Podaci sadrže karakteristike treće strane koje osoba ne može vidjeti čak i ako ih traži.

Što to znači? A priori znamo da podaci mogu različito predstavljati različite skupine ljudi i barem možemo planirati tražiti takve iznimke. Drugim riječima, postoji mnogo društvenih razloga za pretpostavku da podaci o skupinama ljudi već sadrže određenu pristranost. Pogledamo li fotografiju s ravnalom, vidjet ćemo ovo ravnalo – prije smo ga jednostavno ignorirali, znajući da nije važno, a zaboravljajući da sustav ništa ne zna.

Ali što ako su sve vaše fotografije nezdrave kože snimljene u uredu pod svjetlom sa žarnom niti, a zdrava koža pod fluorescentnim svjetlom? Što ako ste nakon snimanja zdrave kože, prije snimanja nezdrave kože, ažurirali operativni sustav na telefonu, a Apple ili Google malo promijenili algoritam za smanjenje šuma? Čovjek to ne može primijetiti, koliko god tražio takva svojstva. Ali sustav korištenja strojeva će to odmah vidjeti i iskoristiti. Ona ne zna ništa.

Do sada smo govorili o lažnim korelacijama, ali također može biti da su podaci točni i rezultati točni, ali ih ne želite koristiti iz etičkih, pravnih ili razloga upravljanja. Neke jurisdikcije, na primjer, ne dopuštaju ženama da dobiju popust na osiguranje, iako su žene sigurniji vozači. Lako možemo zamisliti sustav koji bi, analizirajući povijesne podatke, ženskim imenima dodijelio manji faktor rizika. U redu, uklonimo imena iz odabira. Ali sjetite se primjera Amazona: sustav može odrediti spol na temelju drugih faktora (iako ne zna što je spol, pa čak ni što je automobil), a to nećete primijetiti sve dok regulator retroaktivno ne analizira tarife koje ponudu i naplatu bit ćete kažnjeni.

Konačno, često se pretpostavlja da ćemo takve sustave koristiti samo za projekte koji uključuju ljude i društvene interakcije. To je pogrešno. Ako proizvodite plinske turbine, vjerojatno ćete htjeti primijeniti strojno učenje na telemetriju koju prenose deseci ili stotine senzora na vašem proizvodu (audio, video, temperaturni i svi drugi senzori generiraju podatke koji se mogu vrlo lako prilagoditi za stvaranje stroja model učenja). Hipotetski, mogli biste reći: “Ovdje su podaci o tisuću turbina koje su otkazale prije nego što su otkazale, a ovdje su podaci o tisuću turbina koje nisu otkazale. Izgradite model koji će pokazati koja je razlika između njih.” Pa sad zamislite da su Siemensovi senzori ugrađeni na 75% loših turbina, a samo na 12% dobrih (nema veze s kvarovima). Sustav će izgraditi model za pronalaženje turbina sa Siemensovim senzorima. Ups!

Slika — Moritz Hardt, UC Berkeley

Upravljanje pristranostima umjetne inteligencije

Što možemo učiniti u vezi s tim? Problemu možete pristupiti iz tri kuta:

1. Metodološka strogost u prikupljanju i upravljanju podacima za obuku sustava.
2. Tehnički alati za analizu i dijagnostiku ponašanja modela.
3. Obučavajte se, educirajte i budite oprezni pri implementaciji strojnog učenja u proizvode.

Ima jedna šala u Molièreovoj knjizi “Buržuj u plemstvu”: jednom čovjeku su rekli da se književnost dijeli na prozu i poeziju, a on je bio oduševljen otkrićem da je cijeli život govorio u prozi, a da toga nije bio svjestan. Vjerojatno se tako osjećaju i statističari danas: nesvjesni toga posvetili su svoju karijeru umjetnoj inteligenciji i pogrešci uzorkovanja. Traženje greške uzorkovanja i briga o njoj nije nov problem, samo treba sustavno pristupiti njegovom rješavanju. Kao što je gore spomenuto, u nekim je slučajevima zapravo lakše to učiniti proučavanjem problema povezanih s podacima o ljudima. A priori pretpostavljamo da možemo imati predrasude prema različitim skupinama ljudi, ali teško nam je uopće zamisliti predrasude o Siemens senzorima.

Ono što je novo u svemu tome, naravno, jest da ljudi više ne rade statističke analize izravno. Provode ga strojevi koji stvaraju velike, složene modele koje je teško razumjeti. Pitanje transparentnosti jedan je od glavnih aspekata problema pristranosti. Bojimo se da sustav nije samo pristran, već da ne postoji način da se otkrije njegova pristranost, te da se strojno učenje razlikuje od drugih oblika automatizacije, koji bi se trebali sastojati od jasnih logičnih koraka koji se mogu testirati.

Ovdje postoje dva problema. Možda još uvijek možemo provesti neku vrstu revizije sustava strojnog učenja. A revizija bilo kojeg drugog sustava zapravo nije ništa lakša.

Prvo, jedan od smjerova suvremenog istraživanja u području strojnog učenja je potraga za metodama za prepoznavanje važnih funkcionalnosti sustava za strojno učenje. Uz to, strojno učenje (u svom trenutnom stanju) potpuno je novo polje znanosti koje se brzo mijenja, stoga nemojte misliti da stvari koje su danas nemoguće uskoro ne mogu postati sasvim stvarne. Projekt OpenAI je zanimljiv primjer za to.

Drugo, ideja da možete testirati i razumjeti proces donošenja odluka postojećih sustava ili organizacija je dobra u teoriji, ali tako-tako u praksi. Nije lako razumjeti kako se donose odluke u velikoj organizaciji. Čak i ako postoji formalni proces donošenja odluka, on ne odražava kako ljudi zapravo komuniciraju, a oni sami često nemaju logičan, sustavan pristup donošenju svojih odluka. Kako reče moj kolega Vijay Pande, ljudi su također crne kutije.

Uzmite tisuću ljudi u nekoliko preklapajućih poduzeća i institucija, i problem postaje još složeniji. Znamo naknadno da je Space Shuttleu bilo suđeno da se raspadne po povratku, a pojedinci unutar NASA-e imali su informacije koje su im dale razloga da misle da bi se nešto loše moglo dogoditi, ali sustav općenito Nisam ovo znao. NASA je čak prošla sličnu reviziju nakon što je izgubila svoj prethodni shuttle, a opet je izgubila još jedan iz vrlo sličnog razloga. Lako je tvrditi da organizacije i ljudi slijede jasna, logična pravila koja se mogu testirati, razumjeti i promijeniti - ali iskustvo dokazuje suprotno. ovo "Gosplanova zabluda".

Strojno učenje često uspoređujem s bazama podataka, posebice relacijskim – novom fundamentalnom tehnologijom koja je promijenila mogućnosti računalne znanosti i svijeta oko nje, koja je postala dio svega, koju neprestano koristimo, a da toga nismo svjesni. I baze podataka imaju problema, a oni su slične prirode: sustav može biti izgrađen na lošim pretpostavkama ili lošim podacima, ali će to biti teško primijetiti, a ljudi koji koriste sustav radit će ono što im kaže bez postavljanja pitanja. Postoji mnogo starih viceva o poreznicima koji su jednom krivo napisali vaše ime, a uvjeriti ih da isprave pogrešku puno je teže nego stvarno promijeniti svoje ime. O tome se može razmišljati na mnogo načina, ali nije jasno što je bolje: kao tehnički problem u SQL-u, ili kao greška u izdanju Oraclea, ili kao neuspjeh birokratskih institucija? Koliko je teško pronaći grešku u procesu koja je dovela do toga da sustav nema značajku ispravljanja tipfelera? Je li se to moglo shvatiti prije nego što su se ljudi počeli žaliti?

Ovaj problem još jednostavnije ilustriraju priče kada vozači voze u rijeke zbog zastarjelih podataka u navigatoru. U redu, karte je potrebno stalno ažurirati. Ali koliko je TomTom kriv što je vaš automobil otpuhalo u more?

Razlog zašto to kažem je taj što će pristranost strojnog učenja stvoriti probleme. No, ti će problemi biti slični onima s kojima smo se suočavali u prošlosti, a mogu se primijetiti i riješiti (ili ne) otprilike jednako dobro kao što smo to mogli u prošlosti. Stoga je malo vjerojatno da će se starijim istraživačima koji rade u velikoj organizaciji dogoditi scenarij u kojem pristranost umjetne inteligencije uzrokuje štetu. Najvjerojatnije će neki beznačajni tehnološki izvođač ili prodavač softvera napisati nešto na koljenima, koristeći komponente otvorenog koda, biblioteke i alate koje ne razumiju. A nesretni klijent će kupiti izraz "umjetna inteligencija" u opisu proizvoda i, bez postavljanja pitanja, distribuirati ga svojim slabo plaćenim zaposlenicima, naređujući im da rade ono što AI kaže. Upravo se to dogodilo s bazama podataka. Ovo nije problem umjetne inteligencije, čak ni softverski problem. Ovo je ljudski faktor.

Zaključak

Strojno učenje može učiniti sve što možete naučiti psa - ali nikada ne možete biti sigurni što ste točno naučili psa.

Često se osjećam kao da izraz "umjetna inteligencija" samo smeta u ovakvim razgovorima. Ovaj pojam daje pogrešan dojam da smo ga mi zapravo stvorili – tu inteligenciju. Da smo na putu prema HAL9000 ili Skynetu - nešto što zapravo razumije. Ali ne. To su samo strojevi i puno je točnije usporediti ih s, recimo, perilicom rublja. Ona pere rublje mnogo bolje od čovjeka, ali ako u nju stavite suđe umjesto rublja, ona će ga... oprati. Posuđe će čak postati čisto. Ali to neće biti ono što ste očekivali, a to se neće dogoditi jer sustav ima predrasude po pitanju jela. Perilica rublja ne zna što je suđe ili što je odjeća - to je samo primjer automatizacije, konceptualno se ne razlikuje od načina na koji su se procesi automatizirali prije.

Bilo da govorimo o automobilima, zrakoplovima ili bazama podataka, ti će sustavi biti i vrlo moćni i vrlo ograničeni. Oni će u potpunosti ovisiti o tome kako ljudi koriste te sustave, jesu li im namjere dobre ili loše i koliko razumiju kako funkcioniraju.

Stoga je potpuno pogrešno reći da je "umjetna inteligencija matematika, pa ne može imati pristranosti". Ali jednako je pogrešno reći da je strojno učenje "subjektivne prirode". Strojno učenje pronalazi uzorke u podacima, a koje će obrasce pronaći ovisi o podacima, a podaci ovise o nama. Baš kao što mi radimo s njima. Strojno učenje čini neke stvari mnogo bolje od nas – ali psi su, primjerice, puno učinkovitiji od ljudi u otkrivanju droga, što nije razlog da ih koristimo kao svjedoke i donosimo sudove na temelju njihovih iskaza. A psi su, usput, mnogo pametniji od bilo kojeg sustava strojnog učenja.

Prijevod: Diana Letskaya.
Uređivanje: Aleksej Ivanov.
Zajednica: @PonchikVijesti.

Izvor: www.habr.com