tl; dr:
- Maskininlärning letar efter mönster i data. Men artificiell intelligens kan vara "partisk" - det vill säga hitta mönster som är felaktiga. Till exempel kan ett fotobaserat system för upptäckt av hudcancer ägna särskild uppmärksamhet åt bilder tagna på en läkarmottagning. Maskininlärning kan inte förstå: dess algoritmer identifierar bara mönster i siffror, och om data inte är representativa, så kommer resultatet av dess bearbetning att göra det. Och att fånga sådana buggar kan vara svårt på grund av själva mekaniken i maskininlärning.
- Det mest uppenbara och mest skrämmande problemområdet är mänsklig mångfald. Det finns många anledningar till att uppgifter om personer kan förlora objektivitet även i insamlingsstadiet. Men tro inte att detta problem bara påverkar människor: exakt samma svårigheter uppstår när man försöker upptäcka en översvämning i ett lager eller en misslyckad gasturbin. Vissa system kan vara partiska mot hudfärg, andra kommer att vara partiska mot Siemens-sensorer.
- Sådana problem är inte nya för maskininlärning, och de är långt ifrån unika för det. Felaktiga antaganden görs i alla komplexa strukturer, och det är alltid svårt att förstå varför ett visst beslut togs. Vi måste bekämpa detta på ett heltäckande sätt: skapa verktyg och processer för verifiering – och utbilda användare så att de inte blint följer AI-rekommendationer. Maskininlärning gör vissa saker mycket bättre än vi kan – men hundar är till exempel mycket effektivare än människor på att upptäcka droger, vilket inte är en anledning att använda dem som vittnen och göra bedömningar baserat på deras vittnesmål. Och hundar är förresten mycket smartare än något maskininlärningssystem.
Maskininlärning är en av de viktigaste grundläggande tekniktrenderna idag. Detta är ett av de viktigaste sätten på vilka teknik kommer att förändra världen omkring oss under det kommande decenniet. Vissa aspekter av dessa förändringar ger anledning till oro. Till exempel den potentiella inverkan av maskininlärning på arbetsmarknaden, eller dess användning för oetiska syften (till exempel av auktoritära regimer). Det finns ett annat problem som det här inlägget tar upp: artificiell intelligens bias.
Det här är ingen lätt historia.
Googles AI kan hitta katter. Den här nyheten från 2012 var något speciellt då.
Vad är "AI Bias"?
"Rådata" är både en oxymoron och en dålig idé; data måste förberedas väl och noggrant. — Geoffrey Bocker
Någonstans före 2013, för att göra ett system som till exempel känner igen katter på fotografier, var man tvungen att beskriva logiska steg. Hur man hittar hörn i en bild, känner igen ögon, analyserar texturer för päls, räknar tassar och så vidare. Sätt sedan ihop alla komponenter och upptäck att det inte riktigt fungerar. Ungefär som en mekanisk häst - teoretiskt kan den göras, men i praktiken är den för komplex för att beskriva. Slutresultatet är hundratals (eller till och med tusentals) handskrivna regler. Och inte en enda fungerande modell.
Med tillkomsten av maskininlärning slutade vi använda "manuella" regler för att känna igen ett visst objekt. Istället tar vi tusen prover av "det här", X, tusen prover av "annat", Y, och låter datorn bygga en modell baserad på deras statistiska analys. Vi ger sedan denna modell några exempeldata och den avgör med viss precision om den passar någon av uppsättningarna. Maskininlärning genererar en modell från data snarare än från en människa som skriver den. Resultaten är imponerande, särskilt inom området bild- och mönsterigenkänning, och det är därför hela teknikbranschen nu går över till maskininlärning (ML).
Men det är inte så enkelt. I den verkliga världen innehåller dina tusentals exempel på X eller Y också A, B, J, L, O, R och till och med L. Dessa kanske inte är jämnt fördelade, och vissa kan förekomma så ofta att systemet kommer att betala mer uppmärksamma dem än på föremål som intresserar dig.
Vad betyder detta i praktiken? Mitt favoritexempel är när bildigenkänningssystem . Det är tydligt varför: de flesta exempelfotografier av "får" är tagna på ängarna där de bor, och på dessa bilder tar gräset mycket mer plats än de små vita luddarna, och det är gräset som systemet anser vara viktigast .
Det finns allvarligare exempel. En nyligen för att upptäcka hudcancer i fotografier. Det visade sig att hudläkare ofta fotograferar linjalen tillsammans med manifestationerna av hudcancer för att registrera storleken på formationerna. Det finns inga linjaler i exempelfotografierna av frisk hud. För ett AI-system har sådana linjaler (mer exakt, pixlarna som vi definierar som en "linjal") blivit en av skillnaderna mellan uppsättningar av exempel, och ibland viktigare än ett litet utslag på huden. Så ett system skapat för att identifiera hudcancer erkände ibland linjaler istället.
Nyckelpunkten här är att systemet inte har någon semantisk förståelse för vad det tittar på. Vi tittar på en uppsättning pixlar och ser i dem ett får, skinn eller linjaler, men systemet är bara en tallinje. Hon ser inte tredimensionellt utrymme, ser inte föremål, texturer eller får. Hon ser helt enkelt mönster i datan.
Svårigheten med att diagnostisera sådana problem är att det neurala nätverket (modellen som genereras av ditt maskininlärningssystem) består av tusentals hundratusentals noder. Det finns inget enkelt sätt att undersöka en modell och se hur den fattar ett beslut. Att ha ett sådant sätt skulle innebära att processen är enkel nog att beskriva alla regler manuellt, utan att använda maskininlärning. Folk oroar sig för att maskininlärning har blivit något av en svart låda. (Jag ska förklara lite senare varför denna jämförelse fortfarande är för mycket.)
Detta är, generellt sett, problemet med partiskhet i artificiell intelligens eller maskininlärning: ett system för att hitta mönster i data kan hitta fel mönster, och du kanske inte märker det. Detta är ett grundläggande kännetecken för tekniken, och det är uppenbart för alla som arbetar med den inom akademin och på stora techföretag. Men dess konsekvenser är komplexa, och så är våra möjliga lösningar på dessa konsekvenser.
Låt oss prata om konsekvenserna först.
AI kan, implicit för oss, göra ett val till förmån för vissa kategorier av människor, baserat på ett stort antal omärkliga signaler
AI Bias Scenarier
Mest uppenbart och skrämmande kan detta problem visa sig när det kommer till mänsklig mångfald. Nyligen att Amazon försökte bygga ett maskininlärningssystem för initial screening av jobbkandidater. Eftersom det finns fler män bland Amazon-arbetare, är exempel på "framgångsrika anställningar" också oftare män, och det fanns fler män i urvalet av CV som föreslagits av systemet. Amazon märkte detta och släppte inte systemet i produktion.
Det viktigaste i det här exemplet är att systemet ryktades gynna manliga sökande, trots att kön inte angavs i CV:t. Systemet såg andra mönster i exempel på "bra anställningar": till exempel kan kvinnor använda speciella ord för att beskriva prestationer eller ha speciella hobbyer. Naturligtvis visste systemet inte vad "hockey" var, eller vilka "människor" var eller vad "framgång" var - det utförde helt enkelt en statistisk analys av texten. Men mönstren hon såg skulle med största sannolikhet gå människor obemärkt förbi, och en del av dem (till exempel det faktum att människor av olika kön beskriver framgång olika) skulle förmodligen vara svåra för oss att se även om vi tittade på dem.
Vidare - värre. Ett maskininlärningssystem som är väldigt bra på att hitta cancer på blek hud kanske inte fungerar lika bra på mörk hud, eller vice versa. Inte nödvändigtvis på grund av partiskhet, utan för att du förmodligen behöver bygga en separat modell för en annan hudfärg och välja olika egenskaper. Maskininlärningssystem är inte utbytbara även i ett så smalt område som bildigenkänning. Du behöver justera systemet, ibland bara genom att trial and error, för att få ett bra grepp om funktionerna i den data du är intresserad av tills du uppnår den precision du vill ha. Men vad du kanske inte märker är att systemet är korrekt 98% av tiden med en grupp, och endast 91% (till och med mer exakt än mänsklig analys) med den andra.
Hittills har jag främst använt exempel som rör människor och deras egenskaper. Diskussionen kring detta problem fokuserar främst på detta ämne. Men det är viktigt att förstå att partiskhet mot människor bara är en del av problemet. Vi kommer att använda maskininlärning för många saker, och provtagningsfel kommer att vara relevanta för dem alla. Å andra sidan, om du arbetar med människor, kanske fördomen i data inte är relaterad till dem.
För att förstå detta, låt oss återgå till exemplet med hudcancer och överväga tre hypotetiska möjligheter för systemfel.
- Heterogen fördelning av människor: ett obalanserat antal fotografier av olika hudtoner, vilket leder till falska positiva eller falska negativa på grund av pigmentering.
- Datan som systemet tränas på innehåller en ofta förekommande och heterogent distribuerad egenskap som inte är förknippad med människor och som inte har något diagnostiskt värde: en linjal i fotografier av hudcancer eller gräs i fotografier av får. I det här fallet blir resultatet annorlunda om systemet hittar pixlar i bilden av något som det mänskliga ögat identifierar som en "linjal".
- Uppgifterna innehåller en tredjepartsegenskap som en person inte kan se även om han letar efter den.
Vad betyder det? Vi vet på förhand att data kan representera olika grupper av människor på olika sätt, och som ett minimum kan vi planera att leta efter sådana undantag. Det finns med andra ord gott om sociala skäl att anta att data om grupper av människor redan innehåller en viss partiskhet. Om vi tittar på fotot med linjalen kommer vi att se den här linjalen - vi ignorerade den helt enkelt innan, med att veta att det inte spelar någon roll, och glömmer att systemet inte vet någonting.
Men tänk om alla dina bilder av ohälsosam hud togs på ett kontor under glödljus och din friska hud togs under fluorescerande ljus? Vad händer om du, efter att du har fotograferat frisk hud, innan du fotograferar ohälsosam hud, uppdaterade operativsystemet på din telefon och Apple eller Google ändrade brusreduceringsalgoritmen något? En person kan inte märka detta, oavsett hur mycket han letar efter sådana funktioner. Men maskinanvändningssystemet kommer omedelbart att se och använda detta. Hon vet ingenting.
Hittills har vi pratat om falska korrelationer, men det kan också vara så att data är korrekta och att resultaten är korrekta, men du vill inte använda dem av etiska, juridiska eller förvaltningsskäl. Vissa jurisdiktioner tillåter till exempel inte kvinnor att få rabatt på sin försäkring, även om kvinnor kan vara säkrare förare. Vi kan lätt föreställa oss ett system som, när man analyserar historiska data, skulle tilldela kvinnonamn en lägre riskfaktor. Okej, låt oss ta bort namn från urvalet. Men kom ihåg Amazon-exemplet: systemet kan bestämma kön baserat på andra faktorer (även om det inte vet vad kön är, eller ens vad en bil är), och du kommer inte att märka detta förrän regulatorn retroaktivt analyserar taxorna du erbjudande och avgifter du kommer att få böter.
Slutligen antas det ofta att vi endast kommer att använda sådana system för projekt som involverar människor och sociala interaktioner. Detta är fel. Om du gör gasturbiner kommer du antagligen att vilja tillämpa maskininlärning på telemetrin som sänds av tiotals eller hundratals sensorer på din produkt (ljud, video, temperatur och alla andra sensorer genererar data som mycket enkelt kan anpassas för att skapa en maskin inlärningsmodell). Hypotetiskt kan du säga: "Här är data från tusen turbiner som havererade innan de misslyckades, och här är data från tusen turbiner som inte misslyckades. Bygg en modell för att berätta vad skillnaden är mellan dem.” Tja, föreställ dig nu att Siemens-sensorer är installerade på 75% av dåliga turbiner och bara 12% av bra (det finns inget samband med fel). Systemet kommer att bygga en modell för att hitta turbiner med Siemens-sensorer. hoppsan!
Bild — Moritz Hardt, UC Berkeley
Hantera AI Bias
Vad kan vi göra åt det? Du kan närma dig frågan från tre vinklar:
- Metodisk noggrannhet vid insamling och hantering av data för utbildning av systemet.
- Tekniska verktyg för att analysera och diagnostisera modellbeteende.
- Träna, utbilda och var försiktig när du implementerar maskininlärning i produkter.
Det finns ett skämt i Molières bok "Borgaren i adeln": en man fick höra att litteraturen är uppdelad i prosa och poesi, och han blev glad över att upptäcka att han hade talat på prosa hela sitt liv, utan att veta om det. Det är förmodligen så statistiker känner idag: utan att inse det har de ägnat sina karriärer åt artificiell intelligens och samplingsfel. Att leta efter provtagningsfel och oroa sig för det är inget nytt problem, vi behöver bara systematiskt närma oss lösningen. Som nämnts ovan är det i vissa fall faktiskt lättare att göra detta genom att studera problem relaterade till persondata. Vi antar a priori att vi kan ha fördomar om olika grupper av människor, men det är svårt för oss att ens föreställa oss en fördom om Siemens-sensorer.
Det som är nytt med allt detta är förstås att folk inte längre gör statistisk analys direkt. Det utförs av maskiner som skapar stora, komplexa modeller som är svåra att förstå. Frågan om insyn är en av huvudaspekterna av problemet med partiskhet. Vi fruktar att systemet inte bara är partiskt, utan att det inte finns något sätt att upptäcka dess bias, och att maskininlärning skiljer sig från andra former av automatisering, som ska bestå av tydliga logiska steg som kan testas.
Det finns två problem här. Vi kanske fortfarande kan genomföra någon form av revision av system för maskininlärning. Och det är faktiskt inte lättare att granska vilket annat system som helst.
För det första är en av riktningarna för modern forskning inom området maskininlärning sökandet efter metoder för att identifiera viktiga funktioner hos maskininlärningssystem. Som sagt, maskininlärning (i sitt nuvarande tillstånd) är ett helt nytt vetenskapsområde som förändras snabbt, så tro inte att saker som är omöjliga idag inte snart kan bli riktigt verkliga. Projekt är ett intressant exempel på detta.
För det andra är idén att du kan testa och förstå beslutsprocessen för befintliga system eller organisationer bra i teorin, men så som så i praktiken. Att förstå hur beslut fattas i en stor organisation är inte lätt. Även om det finns en formell beslutsprocess så speglar den inte hur människor faktiskt interagerar, och de själva har ofta inte ett logiskt, systematiskt förhållningssätt för att fatta sina beslut. Som min kollega sa , människor är också svarta lådor.
Ta tusen personer i flera överlappande företag och institutioner så blir problemet ännu mer komplext. Vi vet efter det faktum att rymdfärjan var avsedd att gå sönder när de återvände, och individer inom NASA hade information som gav dem anledning att tro att något dåligt kan hända, men systemet i allmänhet Jag visste inte det här. NASA gick precis igenom en liknande granskning efter att ha förlorat sin tidigare skyttel, och ändå förlorade den en annan av en mycket liknande anledning. Det är lätt att hävda att organisationer och människor följer tydliga, logiska regler som kan testas, förstås och ändras – men erfarenheten visar motsatsen. detta"".
Jag jämför ofta maskininlärning med databaser, särskilt relationella sådana – en ny grundläggande teknik som har förändrat datavetenskapens och omvärldens möjligheter, som har blivit en del av allt, som vi använder konstant utan att inse det. Databaser har också problem, och de är av liknande karaktär: systemet kan vara byggt på dåliga antaganden eller dålig data, men det kommer att vara svårt att märka, och de som använder systemet kommer att göra vad det säger till dem utan att ställa frågor. Det finns många gamla skämt om skattefolk som en gång stavat ditt namn fel, och att övertyga dem om att rätta till misstaget är mycket svårare än att faktiskt byta namn. Det finns många sätt att tänka på detta, men det är inte klart vilket som är bättre: som ett tekniskt problem i SQL, eller som en bugg i en Oracle-version, eller som ett misslyckande hos byråkratiska institutioner? Hur svårt är det att hitta en bugg i en process som har lett till att systemet inte har en funktion för stavfelskorrigering? Kunde detta ha kommit fram innan folk började klaga?
Detta problem illustreras ännu enklare av berättelser när förare kör in i floder på grund av föråldrade data i navigatorn. Okej, kartor måste uppdateras hela tiden. Men hur mycket har TomTom att skylla på för att din bil har blåst ut i havet?
Anledningen till att jag säger detta är att ja, maskininlärningsbias kommer att skapa problem. Men dessa problem kommer att likna dem vi har ställts inför tidigare, och de kan uppmärksammas och lösas (eller inte) ungefär lika bra som vi kunde tidigare. Därför är det osannolikt att ett scenario där AI-bias orsakar skada kommer att hända seniora forskare som arbetar i en stor organisation. Troligtvis kommer någon obetydlig teknikentreprenör eller mjukvaruleverantör att skriva något på sina knän, med hjälp av komponenter med öppen källkod, bibliotek och verktyg som de inte förstår. Och den olyckliga kunden kommer att köpa frasen "artificiell intelligens" i produktbeskrivningen och, utan att ställa några frågor, distribuera den till sina lågavlönade anställda och beordra dem att göra vad AI säger. Det är precis vad som hände med databaser. Detta är inte ett problem med artificiell intelligens, eller ens ett mjukvaruproblem. Detta är den mänskliga faktorn.
Slutsats
Maskininlärning kan göra allt du kan lära en hund – men du kan aldrig vara säker på vad exakt du lärde hunden.
Jag tycker ofta att termen "artificiell intelligens" bara kommer i vägen för sådana här samtal. Den här termen ger det felaktiga intrycket att vi faktiskt skapade det - denna intelligens. Att vi är på väg mot HAL9000 eller Skynet – något som faktiskt förstår. Men nej. Det här är bara maskiner och det är mycket mer exakt att jämföra dem med exempelvis en tvättmaskin. Hon tvättar mycket bättre än en människa, men om du lägger disk i henne istället för tvätt, så tvättar hon dem. Disken blir till och med ren. Men detta kommer inte att bli vad du förväntade dig, och detta kommer inte att hända eftersom systemet har några fördomar angående rätter. Tvättmaskinen vet inte vad disk är eller vad kläder är - det är bara ett exempel på automatisering, konceptuellt inte annorlunda än hur processer automatiserades tidigare.
Oavsett om vi pratar om bilar, flygplan eller databaser kommer dessa system att vara både mycket kraftfulla och mycket begränsade. De kommer att bero helt på hur människor använder dessa system, om deras avsikter är goda eller dåliga, och hur mycket de förstår hur de fungerar.
Att säga att "artificiell intelligens är matematik, så det kan inte ha fördomar" är därför helt falskt. Men det är lika falskt att säga att maskininlärning är "subjektiv till sin natur." Maskininlärning hittar mönster i data, och vilka mönster den hittar beror på data, och data beror på oss. Precis som vad vi gör med dem. Maskininlärning gör vissa saker mycket bättre än vi kan – men hundar är till exempel mycket effektivare än människor på att upptäcka droger, vilket inte är en anledning att använda dem som vittnen och göra bedömningar baserat på deras vittnesmål. Och hundar är förresten mycket smartare än något maskininlärningssystem.
Översättning: .
Redigering: .
Gemenskap: .
Källa: will.com