tl;dr:
- Maskinlæring søger mønstre i data. Men kunstig intelligens kan være 'biased' — det vil sige, finde forkerte mønstre. For eksempel kan et system til at opdage hudkræft fra billeder lægge særlig vægt på billeder taget i en lægepraksis. Maskinlæring kan ikke forstå: dens algoritmer identificerer kun mønstre i tal, og hvis dataene ikke er repræsentative, vil resultatet af behandlingen også være det. At fange sådanne fejl kan være svært på grund af selve mekanikken i maskinlæring.
- Det mest åbenlyse og skræmmende problemområde er menneskelig mangfoldighed. Der er mange grunde til, at data om mennesker kan miste objektivitet allerede i indsamlingens fase. Men man skal ikke tro, at dette problem kun vedrører mennesker: lignende vanskeligheder opstår, når man forsøger at opdage en oversvømmelse på et lager eller en defekt gas turbine. Nogle systemer kan have fordomme mod hudfarve, mens andre vil være biased over for Siemens sensorer.
- Sådanne problemer er ikke nye for maskinlæring, og de er ikke kun kendetegnende for det. Forkerte antagelser gøres i enhver kompleks struktur, og det er altid svært at forstå, hvorfor en beslutning blev truffet. Dette skal tackles holistisk: skabe værktøjer og processer til validering — samt uddanne brugerne, så de ikke blindt følger AI's anbefalinger. Maskinlæring gør bestemt nogle ting meget bedre end os — men hunde, for eksempel, er langt mere effektive end mennesker til at opdage stoffer, hvilket slet ikke er en grund til at bruge dem som vidner og afsige domme baseret på deres udsagn. Og hunde, for at sige det, er meget klogere end noget system for maskinlæring.
Maskinlæring er i dag en af de vigtigste fundamentale teknologiske trends. Det er en af de primære måder, hvorpå teknologien vil ændre verden i det kommende årti. Nogle aspekter af disse ændringer vækker bekymring. For eksempel den potentielle indvirkning af maskinlæring på arbejdsmarkedet, eller dens anvendelse til uetiske formål (lad os sige, autoritære regime). Der er et andet problem, som dette indlæg handler om: fordom om kunstig intelligens.
Det er en kompleks historie.
Google's AI kan finde katte. Denne nyhed fra 2012 var dengang noget særligt.
Hvad er "AI-bias"?
"Rådata" er både et oksymoron og en dårlig idé; data skal forberedes godt og omhyggeligt. - Jeffrey Boker
Indtil omkring 2013, for at lave et system, der for eksempel kunne genkende katte på billeder, var man nødt til at beskrive logiske skridt. Hvordan finder man hjørner i billedet, genkender øjne, analyserer teksturer for pels, tæller poter, og så videre. Derefter skulle alle komponenterne samles — og man opdagede, at det hele ikke rigtig fungerede. Omtrent som en mekanisk hest — den kan teoretisk set laves, men i praksis er den for kompleks at beskrive. Resultatet var hundreder (eller endda tusinder) af håndskrevne regler. Og ingen fungerende model.
Med introduktionen af maskinlæring stoppede vi med at bruge "manuelle" regler til at genkende forskellige objekter. I stedet tager vi tusind prøver af "det", X, tusind prøver af "det andet", Y, og tvinger computeren til at bygge en model baseret på deres statistiske analyse. Så giver vi denne model et eksempel på data, og den bestemmer med en vis nøjagtighed, om det passer til et af sættene. Maskinlæring genererer en model baseret på data, og ikke ved at mennesket skriver den. Resultaterne er imponerende, især inden for billedgenkendelse og mønstergenkendelse, og det er derfor, hele tech-industrien nu skifter til maskinlæring (ML).
Men alt er ikke så simpelt. I den virkelige verden indeholder dine tusind eksempler af X eller Y også A, B, J, L, O, R og endda L. De kan være ujævnt fordelt, og nogle af dem kan forekomme så ofte, at systemet vil lægge mere vægt på dem end på de objekter, du er interesseret i.
Hvad betyder det i praksis? Mit yndlingseksempel er, når billedgenkendelsessystemer . Det giver mening, fordi størstedelen af billederne af "får" er taget på enge, hvor de lever, og på disse billeder fylder græsset langt mere end de små, hvide, fluffy dyr, og det er græsset, som systemerne betragter som det vigtigste.
Der er alvorligere eksempler. For nylig - en vedrørende hudkræft på fotografier. Det viste sig, at dermatologer ofte fotograferer en lineal sammen med manifestationerne af hudkræft for at fastslå størrelsen af dannelserne. I eksempler med billeder af sund hud er der ingen linealer. For AI-systemet blev disse linealer (nærmere bestemt de pixels, vi identificerer som 'lineal') en af de forskelle mellem sæt af eksempler, og nogle gange vigtigere end et lille udslæt på huden. Således kunne systemet, der var oprettet til at genkende hudkræft, nogle gange identificere linealer i stedet for det.
Det centrale her er, at systemet ikke har en semantisk forståelse af, hvad det ser på. Vi ser på et sæt pixels og ser får, hud eller linealer, mens systemet kun ser en numerisk streng. Det kan ikke se det tredimensionelle rum, det kan ikke se hverken objekter, teksturer eller får. Det ser bare mønstre i dataene.
Sværdigheden ved at diagnosticere sådanne problemer er, at neurale netværk (modellen genereret af dit machine learning-system) består af tusindvis af hundredtusinder af noder. Der er ingen enkel måde at kigge ind i modellen og se, hvordan den træffer beslutninger. At have en sådan måde ville betyde, at processen er enkel nok til at beskrive alle regler manuelt uden brug af maskinlæring. Folk er bekymrede for, at maskinlæring er blevet en form for 'black box'. (Jeg vil senere forklare, hvorfor denne sammenligning måske er en overdrivelse.)
Dette er, i grove træk, problemet med bias i kunstig intelligens eller maskinlæring: et system til at finde mønstre i data kan finde forkerte mønstre, og du kan derfor overse det. Det er en grundlæggende egenskab ved teknologien, og det er åbenlyst for alle, der arbejder med den i videnskabelige kredse og store teknologiske virksomheder. Men dens konsekvenser er komplekse, og vores mulige løsninger til disse konsekvenser er også.
Lad os først tale om konsekvenserne.
AI kan implicit træffe valg til fordel for bestemte grupper af mennesker baseret på mange usynlige signaler.
Scenarier med AI-bias.
Det mest åbenbare og skræmmende er, at dette problem kan manifestere sig, når det handler om menneskelig mangfoldighed. Nyligt , at Amazon attempted to build a machine learning system for initial screening of job candidates. Since there are more men among Amazon's employees, the examples of 'successful hiring' also tend to be more male, and there were more men in the resumes suggested by the system. Amazon noticed this and did not launch the system into production.
The most important part of this example is that the system, reportedly, favored male candidates, even though gender was not indicated in the resumes. The system saw different patterns in the examples of 'successful hiring': for instance, women might use specific words to describe achievements or have unique hobbies. Of course, the system did not know what 'hockey' was, nor who 'people' were, nor what 'success' meant — it simply performed a statistical analysis of the text. However, the patterns it identified would likely have gone unnoticed by a human, and some of them (such as the difference in how people of different genders describe success) would probably be difficult for us to see, even if we looked at them.
Things only get worse from here. A machine learning system that excels at detecting cancer on light skin may perform poorly on dark skin, or vice versa. Not necessarily due to bias, but because you likely need to build a separate model for different skin colors, selecting distinct characteristics. Machine learning systems are not interchangeable even in such a narrow field as image recognition. You need to tune the system, sometimes simply through trial and error, to capture the nuances in the data you're interested in until you achieve the desired accuracy. But you might not notice that the system is accurate 98% of the time with one group and only 91% of the time (though it’s more accurate than human analysis) with another.
So far, I have mainly used examples related to people and their characteristics. This is the focus of the discussion surrounding this issue. However, it is important to understand that bias against people is just one part of the problem. We will use machine learning for many things, and sample error will be relevant for all of them. On the other hand, if you are working with people, data bias may not be related to them.
For at forstå dette, lad os vende tilbage til eksemplet med hudkræft og overveje tre hypotetiske måder, hvorpå systemet kan fejle.
- Ujævnt fordelt befolkning: en ubalanceret mængde billeder af hud i forskellige nuancer, hvilket fører til falsk positive eller falsk negative resultater relateret til pigmentering.
- Dataene, som systemet trænes på, indeholder en hyppigt forekommende og ujævnt distribueret egenskab, der ikke relaterer sig til personer og ikke har diagnostisk værdi: en lineal på billeder af hudkræft eller græs på billeder af får. I dette tilfælde vil resultatet variere, hvis systemet på billedet finder pixels af noget, som det menneskelige øje ville identificere som "en lineal."
- Dataene indeholder en ekstern egenskab, som en person ikke kan se, selv når de søger efter den.
Hvad betyder det? Vi ved a priori, at dataene kan repræsentere forskellige grupper af mennesker på forskellige måder, og som minimum kan vi planlægge at lede efter sådanne undtagelser. Med andre ord er der mange sociale grunde til at antage, at data om grupper af mennesker allerede bærer en del fordomme. Hvis vi ser på et billede med en lineal, vil vi se denne lineal — vi har blot ignoreret den tidligere, idet vi vidste, at den ikke betyder noget, og glemt, at systemet ikke ved noget.
Men hvad hvis alle dine billeder af usund hud er taget på et kontor, hvor der bruges glødelamper, mens sunde billeder er taget under fluorescerende lys? Hvad hvis, efter at have afsluttet optagelserne af sund hud, du opdaterede styresystemet på din telefon, og Apple eller Google løbende ændrede algoritmen for støjreduktion? En person kan ikke lægge mærke til dette, uanset hvor meget de søger efter sådanne træk. Men systemet for maskinel brug vil straks se og udnytte dette. Det ved ikke noget.
Selv om vi talte om falske korrelationer, kan det også ske, at både dataene er korrekte, og resultaterne er rigtige, men at du ikke ønsker at bruge dem af etiske, juridiske eller ledelsesmæssige grunde. I nogle jurisdiktioner, for eksempel, kan man ikke tilbyde kvinder rabatter på forsikringer, selvom kvinder måske kører mere sikkert. Vi kan let forestille os et system, der ved analyse af historiske data tildeler kvindelige navne en lavere risikofaktor. Okay, lad os fjerne navnene fra udvalget. Men husk eksemplet med Amazon: systemet kan identificere kønnet ud fra andre faktorer (selvom det ikke ved, hvad køn er, eller hvad en bil er), og du vil ikke bemærke det, før en regulator bagudser analyserer de priser, du tilbyder, og pålægger dig en bøde.
Endelig antages det ofte, at vi kun vil bruge sådanne systemer til projekter, der involverer mennesker og sociale interaktioner. Det er ikke tilfældet. Hvis du laver gasturbiner, vil du højst sandsynligt anvende maskinlæring på den telemetri, der sendes af snesevis eller hundreder af sensorer på dit produkt (audio-, video-, temperatur- og alle andre sensorer genererer data, som kan tilpasses meget let til at skabe en maskinlæringsmodel). Hypotetisk set kan du sige: "Her er data om tusinde defekte turbiner, indsamlet før deres nedbrud, og her er data fra tusinde turbiner, der ikke gik i stykker. Byg en model for at finde ud af, hvad forskellen mellem dem er." Nu forestil dig, at Siemens-sensorerne findes på 75% af de dårlige turbiner og kun 12% af de gode (uden forbindelse til fejlene). Systemet vil lave en model for at finde turbiner med Siemens-sensorer. Ups!
Billede - Moritz Hardt, UC Berkeley
Styring af AI-bias
Hvad kan vi gøre ved det? Vi kan nærme os spørgsmålet fra tre sider:
- Metodologisk strenghed ved indsamling og ledelse af data til træning af systemet.
- Tekniske værktøjer til analyse og diagnose af modellens adfærd.
- Træning, uddannelse og forsigtighed ved implementering af maskinlæring i produkter.
I bogen "Borger i adelen" af Molière er der en vittighed: en mand får at vide, at litteraturen opdeles i prosa og poesi, og han opdager beundret, at han hele sit liv har talt prosa uden at vide det. Måske føler statistikere sig på samme måde i dag: uden at være klar over det har de viet deres karrierer til kunstig intelligens og stikprøvefejl. At søge efter stikprøvefejl og være bekymret over dem er ikke et nyt problem; vi skal bare systematisk tilgå dets løsning. Som nævnt tidligere er det i nogle tilfælde faktisk lettere at studere problemer relateret til data om mennesker. Vi antager a priori, at vi kan have fordomme mod forskellige grupper af mennesker, men at have fordomme imod Siemens-sensorer kan vi næsten ikke forestille os.
Det nye i alt dette er selvfølgelig, at folk ikke længere laver statistisk analyse direkte. Det udføres af maskiner, der skaber store komplekse modeller, som er svære at forstå. Spørgsmålet om gennemsigtighed er et af de grundlæggende aspekter af problemet med bias. Vi er bange for, at systemet ikke blot er biased, men at der ikke er nogen mulighed for at opdage dets bias, og at maskinlæring adskiller sig fra andre former for automatisering, som angiveligt består af klare logiske trin, der kan kontrolleres.
Der er to problemer her. Vi kan muligvis stadig udføre en form for revision af maskinlæringssystemer. Og revision af ethvert andet system er faktisk ikke lettere.
For det første er en af retningerne inden for moderne forskning i maskinlæring at finde metoder til at identificere vigtig funktionalitet i maskinlæringssystemer. Maskinlæring (i sin nuværende tilstand) er et helt nyt videnskabsområde, der hurtigt ændrer sig, så man skal ikke tro, at umulige ting i dag ikke snart kan blive ganske reelle. Projekt er et interessant eksempel på dette.
For det andet er ideen om, at man kan undersøge og forstå beslutningsprocessen i eksisterende systemer eller organisationer, god i teorien, men ikke så god i praksis. At forstå, hvordan beslutninger træffes i en stor organisation, er slet ikke nemt. Selvom der findes en formel beslutningsproces, afspejler den ikke, hvordan folk faktisk interagerer, og de har ofte ikke en logisk systematisk tilgang til deres beslutningstagning. Som min kollega sagde , mennesker er også sorte bokse.
Tag tusind mennesker fra flere overlappende virksomheder og institutioner, og problemet bliver endnu mere komplekst. Vi ved i eftertid, at 'Space Shuttle' var dømt til at dele sig under reentry, og enkeltpersoner inden for NASA havde information, der gav dem grund til at tro, at noget dårligt kunne ske, men systemet vidste ikke dette generelt. NASA havde endda lige gennemgået en lignende revision, efter at have mistet den tidligere shuttle, og alligevel mistede de endnu en - af en meget lignende årsag. Det er let at påstå, at organisationer og mennesker følger klare logiske regler, der kan verificeres, forstås og ændres - men erfaring viser det modsatte. Dette er '».
Jeg sammenligner ofte maskinlæring med databaser, især relationelle - en ny grundlæggende teknologi, der ændrede mulighederne inden for databehandling og den verden, der omgiver den, som er blevet en del af alt, som vi kontinuerligt bruger, uden at vi er klar over det. Også databaser har problemer, og de er af samme art: Systemet kan være bygget på falske antagelser eller dårlige data, men det vil være svært at opdage, og folk, der bruger systemet, vil gøre, hvad det siger, uden at stille spørgsmål. Der er mange gamle vittigheder om skattearbejdere, der engang forkert skrev dit navn, og at overbevise dem om at rette fejlen er langt mere kompliceret, end det faktisk ville være at ændre navnet. Man kan tænke på det på forskellige måder, men det er uklart, hvad der er bedst: som et teknisk problem i SQL, eller som en fejl i en Oracle-udgivelse, eller som et sammenbrud i bureaukratiske institutioner? Hvor svært er det at finde en fejl i en proces, der har ført til, at systemet ikke har en funktion til at rette stavefejl? Kunne man have forstået dette, før folk begyndte at klage?
Denne problemstilling illustreres endnu nemmere med historier om chauffører, der havner i floder på grund af forældede data i navigationssystemet. Okay, kortene skal opdateres konstant. Men hvor meget er TomTom skyld i, at din bil bliver skyllet ud i havet?
Jeg siger dette for at understrege, at ja - bias i maskinlæring vil skabe problemer. Men disse problemer vil være ligesom dem, vi har mødt før, og de vil kunne opdages og løses (eller ikke) omtrent lige så godt, som vi har været i stand til det tidligere. Derfor er et scenarie, hvor AI-bias skader, næppe sandsynligt blandt de førende forskere, der arbejder i store organisationer. Det er mere sandsynligt, at en lille, uvæsentlig teknologisk leverandør eller softwareleverandør vil skrive noget hastigt og uden klart at forstå de open-source komponenter, biblioteker og værktøjer, de bruger. Og den uheldige kunde vil blive lokket af udtrykket "kunstig intelligens" i produktbeskrivelsen og uden at stille for mange spørgsmål give det til deres lavtlønnede medarbejdere, idet de straffer dem for at gøre, hvad AI siger. Det skete præcist med databaser. Dette er ikke et problem med kunstig intelligens, og det er heller ikke et problem med software. Det er en menneskelig faktor.
Konklusion
Maskinlæring kan gøre alt, hvad du kan lære en hund, - men du kan aldrig være sikker på, hvad det er, du faktisk har lært den hund.
Jeg får ofte indtrykket af, at termen "kunstig intelligens" kun hindrer samtaler som denne. Denne betegnelse giver et falsk indtryk af, at vi faktisk har skabt det — denne intelligens. At vi er på vej mod HAL9000 eller Skynet — mod noget, der i virkeligheden forstår. Men nej. Det er bare maskiner, og det er meget mere korrekt at sammenligne dem, lad os sige, med en vaskemaskine. Den klarer sig langt bedre end et menneske med at vaske, men hvis du lægger service i den i stedet for tøj, så vil den… vaske det. Servicen bliver endda ren. Men det bliver ikke det, du havde forventet, og det vil ske, ikke fordi systemet har nogen fordomme mod service. Vaskemaskinen ved hverken, hvad service er, eller hvad tøj er — det er blot et eksempel på automatisering, konceptuelt ikke anderledes end hvordan processer blev automatiseret tidligere.
Uanset hvad emnet er — om det er maskiner, fly eller databaser — vil disse systemer både være meget magtfulde og meget begrænsede. De vil være fuldstændig afhængige af, hvordan mennesker bruger disse systemer, hvilke gode eller dårlige intentioner de har, og hvor godt de forstår deres funktion.
Derfor er det ikke korrekt at sige, at "kunstig intelligens er matematik, så den kan ikke have fordomme". Men det er lige så forkert at påstå, at maskinlæring "er subjektiv i sin natur". Maskinlæring finder mønstre i data, og hvilke mønstre det finder, afhænger af dataene, og dataene afhænger af os. Ligesom hvad vi gør med dem. Maskinlæring gør faktisk nogle ting meget bedre end os — men hunde, for eksempel, er meget mere effektive end mennesker til at opdage narkotika, hvilket bestemt ikke er en grund til at anvende dem som vidner og dømme på baggrund af deres udsagn. Og hunde, for at sige det på en anden måde, er meget klogere end ethvert system for maskinlæring.
Oversættelse: .
Redaktør: .
Samfund: .
Kilde: habr.com
