tl; dr:
- Masjienleer soek patrone in data. Maar kunsmatige intelligensie kan "bevooroordeeld" wees - dit wil sê, vind patrone wat verkeerd is. Byvoorbeeld, 'n foto-gebaseerde velkanker opsporingstelsel kan spesiale aandag skenk aan beelde wat in 'n dokter se kantoor geneem is. Masjienleer kan nie om te verstaan: sy algoritmes identifiseer slegs patrone in getalle, en as die data nie verteenwoordigend is nie, sal die resultaat van die verwerking daarvan ook. En om sulke foute te vang, kan moeilik wees as gevolg van die meganika van masjienleer.
- Die mees voor die hand liggende en skrikwekkende probleemarea is menslike diversiteit. Daar is baie redes waarom data oor mense objektiwiteit kan verloor selfs in die insamelingstadium. Maar moenie dink dat hierdie probleem net mense raak nie: presies dieselfde probleme ontstaan wanneer 'n vloed in 'n pakhuis of 'n mislukte gasturbine probeer opspoor. Sommige stelsels kan bevooroordeeld wees teenoor velkleur, ander sal bevooroordeeld wees teenoor Siemens-sensors.
- Sulke probleme is nie nuut vir masjienleer nie, en dit is ver van uniek daaraan. Verkeerde aannames word gemaak in enige komplekse struktuur, en om te verstaan hoekom 'n spesifieke besluit geneem is, is altyd moeilik. Ons moet dit op 'n omvattende manier bekamp: gereedskap en prosesse vir verifikasie skep - en gebruikers opvoed sodat hulle nie blindelings KI-aanbevelings volg nie. Masjienleer doen sekere dinge baie beter as wat ons kan - maar honde is byvoorbeeld baie meer effektief as mense om dwelms op te spoor, wat nie 'n rede is om hulle as getuies te gebruik en uitsprake te maak op grond van hul getuienis nie. En honde, terloops, is baie slimmer as enige masjienleerstelsel.
Masjienleer is vandag een van die belangrikste fundamentele tegnologieneigings. Dit is een van die belangrikste maniere waarop tegnologie die wêreld rondom ons in die volgende dekade sal verander. Sommige aspekte van hierdie veranderinge is rede tot kommer. Byvoorbeeld, die potensiële impak van masjienleer op die arbeidsmark, of die gebruik daarvan vir onetiese doeleindes (byvoorbeeld deur outoritêre regimes). Daar is nog 'n probleem wat hierdie pos aanspreek: vooroordeel van kunsmatige intelligensie.
Dit is nie 'n maklike storie nie.
Google se KI kan katte vind. Hierdie nuus van 2012 was destyds iets besonders.
Wat is "KI-vooroordeel"?
"Raw data" is beide 'n oksimoron en 'n slegte idee; data moet goed en versigtig voorberei word. —Geoffrey Bocker
Iewers voor 2013, om 'n stelsel te maak wat byvoorbeeld katte op foto's herken, moes jy logiese stappe beskryf. Hoe om hoeke in 'n prent te vind, oë te herken, teksture vir pels te ontleed, pote te tel, ensovoorts. Sit dan al die komponente saam en ontdek dat dit nie regtig werk nie. Baie soos 'n meganiese perd - teoreties kan dit gemaak word, maar in die praktyk is dit te kompleks om te beskryf. Die eindresultaat is honderde (of selfs duisende) handgeskrewe reëls. En nie 'n enkele werkende model nie.
Met die koms van masjienleer het ons opgehou om "handleiding" reëls te gebruik om 'n spesifieke voorwerp te herken. In plaas daarvan neem ons 'n duisend monsters van "hierdie", X, 'n duisend monsters van "ander", Y, en laat die rekenaar 'n model bou gebaseer op hul statistiese analise. Ons gee dan vir hierdie model 'n paar voorbeelddata en dit bepaal met 'n mate van akkuraatheid of dit by een van die stelle pas. Masjienleer genereer 'n model uit data eerder as uit 'n mens wat dit skryf. Die resultate is indrukwekkend, veral op die gebied van beeld- en patroonherkenning, en daarom beweeg die hele tegnologiebedryf nou na masjienleer (ML).
Maar dit is nie so eenvoudig nie. In die regte wêreld bevat jou duisende voorbeelde van X of Y ook A, B, J, L, O, R en selfs L. Dit is dalk nie eweredig versprei nie, en sommige kan so gereeld voorkom dat die stelsel meer sal betaal aandag aan hulle as aan voorwerpe wat jou interesseer.
Wat beteken dit in die praktyk? My gunsteling voorbeeld is wanneer beeldherkenningstelsels . Dit is duidelik hoekom: meeste van die voorbeeldfoto's van "skape" word in die weiveld geneem waar hulle woon, en in hierdie beelde neem die gras baie meer spasie op as die klein wit pluisies, en dit is die gras wat die stelsel die belangrikste ag .
Daar is meer ernstige voorbeelde. Een onlangse een vir die opsporing van velkanker in foto's. Dit het geblyk dat dermatoloë dikwels die liniaal saam met die manifestasies van velkanker fotografeer om die grootte van die formasies aan te teken. Daar is geen liniale in die voorbeeldfoto's van gesonde vel nie. Vir 'n KI-stelsel het sulke liniale (meer presies, die pixels wat ons definieer as 'n "liniaal") een van die verskille tussen stelle voorbeelde geword, en soms belangriker as 'n klein uitslag op die vel. So 'n stelsel wat geskep is om velkanker te identifiseer, het soms eerder heersers erken.
Die sleutelpunt hier is dat die sisteem geen semantiese begrip het van waarna dit kyk nie. Ons kyk na 'n stel pixels en sien daarin 'n skaap, vel of liniale, maar die stelsel is slegs 'n getallelyn. Sy sien nie driedimensionele ruimte nie, sien nie voorwerpe, teksture of skape nie. Sy sien bloot patrone in die data.
Die moeilikheid om sulke probleme te diagnoseer is dat die neurale netwerk (die model wat deur jou masjienleerstelsel gegenereer word) uit duisende honderde duisende nodusse bestaan. Daar is geen maklike manier om na 'n model te kyk en te sien hoe dit 'n besluit neem nie. Om so 'n manier te hê, sou beteken dat die proses eenvoudig genoeg is om al die reëls met die hand te beskryf, sonder om masjienleer te gebruik. Mense is bekommerd dat masjienleer iets van 'n swart boks geword het. (Ek sal 'n bietjie later verduidelik hoekom hierdie vergelyking steeds te veel is.)
Dit, in algemene terme, is die probleem van vooroordeel in kunsmatige intelligensie of masjienleer: 'n stelsel om patrone in data te vind, kan die verkeerde patrone vind, en jy sal dit dalk nie agterkom nie. Dit is 'n fundamentele kenmerk van die tegnologie, en dit is duidelik vir almal wat daarmee werk in die akademie en by groot tegnologiemaatskappye. Maar die gevolge daarvan is kompleks, en so ook ons moontlike oplossings vir daardie gevolge.
Kom ons praat eers oor die gevolge.
KI kan, implisiet vir ons, 'n keuse maak ten gunste van sekere kategorieë mense, gebaseer op 'n groot aantal onmerkbare seine
KI-vooroordeel scenario's
Die mees voor die hand liggende en angswekkende is dat hierdie probleem homself kan manifesteer wanneer dit by menslike diversiteit kom. Onlangs dat Amazon probeer het om 'n masjienleerstelsel te bou vir aanvanklike sifting van werkskandidate. Aangesien daar meer mans onder Amazon-werkers is, is voorbeelde van "suksesvolle aanstelling" ook meer dikwels manlik, en daar was meer mans in die keuse van CV's wat deur die stelsel voorgestel word. Amazon het dit opgemerk en het nie die stelsel in produksie vrygestel nie.
Die belangrikste ding in hierdie voorbeeld is dat die stelsel volgens gerugte manlike aansoekers bevoordeel, ten spyte van die feit dat geslag nie op die CV gespesifiseer is nie. Die stelsel het ander patrone in voorbeelde van "goeie huur" gesien: vroue kan byvoorbeeld spesiale woorde gebruik om prestasies te beskryf, of spesiale stokperdjies hê. Natuurlik het die stelsel nie geweet wat "hokkie" is, of wie "mense" is, of wat "sukses" is nie - dit het bloot 'n statistiese ontleding van die teks uitgevoer. Maar die patrone wat sy gesien het, sal heel waarskynlik deur mense ongesiens verbygaan, en sommige van hulle (byvoorbeeld die feit dat mense van verskillende geslagte sukses verskillend beskryf) sal waarskynlik vir ons moeilik wees om te sien al sou ons daarna kyk.
Verder - erger. ’n Masjienleerstelsel wat baie goed is om kanker op ligte vel te vind, sal dalk nie so goed op donker vel presteer nie, of andersom. Nie noodwendig as gevolg van vooroordeel nie, maar omdat jy waarskynlik 'n aparte model vir 'n ander velkleur moet bou, deur verskillende eienskappe te kies. Masjienleerstelsels is nie uitruilbaar nie, selfs in so 'n nou area soos beeldherkenning. Jy moet die stelsel aanpas, soms net deur proef en fout, om 'n goeie greep te kry op die kenmerke in die data waarin jy belangstel totdat jy die akkuraatheid bereik wat jy wil hê. Maar wat jy dalk nie agterkom nie, is dat die stelsel 98% van die tyd akkuraat is met een groep, en slegs 91% (selfs meer akkuraat as menslike analise) met die ander.
Tot dusver het ek hoofsaaklik voorbeelde gebruik wat met mense en hul eienskappe verband hou. Die bespreking rondom hierdie probleem fokus hoofsaaklik op hierdie onderwerp. Maar dit is belangrik om te verstaan dat vooroordeel teenoor mense slegs deel van die probleem is. Ons sal masjienleer vir baie dinge gebruik, en steekproeffout sal vir almal relevant wees. Aan die ander kant, as jy met mense werk, kan die vooroordeel in die data nie met hulle verband hou nie.
Om dit te verstaan, kom ons keer terug na die velkanker-voorbeeld en oorweeg drie hipotetiese moontlikhede vir stelselmislukking.
- Heterogene verspreiding van mense: 'n ongebalanseerde aantal foto's van verskillende velkleure, wat lei tot vals positiewe of vals negatiewe as gevolg van pigmentasie.
- Die data waarop die stelsel opgelei word, bevat 'n gereelde en heterogeen verspreide kenmerk wat nie met mense geassosieer word nie en geen diagnostiese waarde het nie: 'n liniaal in foto's van velkanker of gras in foto's van skape. In hierdie geval sal die resultaat anders wees as die stelsel pixels vind in die beeld van iets wat die menslike oog as 'n "liniaal" identifiseer.
- Die data bevat 'n derdeparty-eienskap wat 'n persoon nie kan sien nie, selfs al soek hy daarna.
Wat beteken dit? Ons weet a priori dat data verskillende groepe mense verskillend kan verteenwoordig, en op 'n minimum kan ons beplan om na sulke uitsonderings te soek. Met ander woorde, daar is baie sosiale redes om aan te neem dat data oor groepe mense reeds 'n mate van vooroordeel bevat. As ons na die foto met die liniaal kyk, sal ons hierdie liniaal sien - ons het dit eenvoudig voorheen geïgnoreer, wetende dat dit nie saak maak nie, en vergeet dat die stelsel niks weet nie.
Maar wat as al jou foto's van ongesonde vel in 'n kantoor onder gloeilamp geneem is, en jou gesonde vel onder fluoresserende lig geneem is? Wat as jy, nadat jy klaar gesonde vel geskiet het, voordat jy ongesonde vel geskiet het, die bedryfstelsel op jou foon opgedateer het, en Apple of Google die geraasverminderingsalgoritme effens verander het? 'n Persoon kan dit nie agterkom nie, maak nie saak hoeveel hy na sulke kenmerke soek nie. Maar die masjiengebruikstelsel sal dit dadelik sien en gebruik. Sy weet niks.
Tot dusver het ons oor valse korrelasies gepraat, maar dit kan ook wees dat die data akkuraat is en die resultate korrek is, maar jy wil dit nie vir etiese, wetlike of bestuursredes gebruik nie. Sommige jurisdiksies laat byvoorbeeld nie vroue toe om afslag op hul versekering te ontvang nie, al is vroue dalk veiliger bestuurders. Ons kan ons maklik 'n stelsel voorstel wat, wanneer historiese data ontleed word, 'n laer risikofaktor aan vroulike name sal toeken. Goed, kom ons verwyder name uit die keuse. Maar onthou die Amazon-voorbeeld: die stelsel kan geslag bepaal op grond van ander faktore (al weet dit nie wat geslag is, of selfs wat 'n motor is nie), en jy sal dit nie agterkom voordat die reguleerder die tariewe wat jy terugwerkend ontleed nie bied en kla jou jy sal beboet word.
Laastens word daar dikwels aangeneem dat ons sulke stelsels slegs sal gebruik vir projekte wat mense en sosiale interaksies behels. Dis verkeerd. As jy gasturbines maak, sal jy waarskynlik masjienleer wil toepas op die telemetrie wat deur tiene of honderde sensors op jou produk versend word (klank, video, temperatuur en enige ander sensors genereer data wat baie maklik aangepas kan word om 'n masjien te skep leermodel). Hipoteties kan jy sê: "Hier is data van duisend turbines wat misluk het voordat hulle misluk het, en hier is data van duisend turbines wat nie misluk het nie. Bou ’n model om te vertel wat die verskil tussen hulle is.” Wel, stel jou nou voor dat Siemens-sensors op 75% van slegte turbines geïnstalleer is, en slegs 12% van goeies (daar is geen verband met mislukkings nie). Die stelsel sal 'n model bou om turbines met Siemens-sensors te vind. Oeps!
Foto — Moritz Hardt, UC Berkeley
Bestuur van KI-vooroordeel
Wat kan ons daaromtrent doen? Jy kan die kwessie vanuit drie hoeke benader:
- Metodologiese strengheid in die insameling en bestuur van data vir opleiding van die stelsel.
- Tegniese gereedskap vir die ontleding en diagnose van modelgedrag.
- Lei op, voed op en wees versigtig wanneer masjienleer in produkte geïmplementeer word.
Daar is 'n grap in Molière se boek "The Bourgeois in the Nobility": een man is vertel dat letterkunde in prosa en poësie verdeel word, en hy was verheug om te ontdek dat hy sy hele lewe lank in prosa gepraat het, sonder om dit te weet. Dit is waarskynlik hoe statistici vandag voel: sonder om dit te besef, het hulle hul loopbane aan kunsmatige intelligensie en steekproeffoute gewy. Om na steekproeffout te soek en daaroor bekommerd te wees, is nie 'n nuwe probleem nie, ons moet net stelselmatig die oplossing daarvan benader. Soos hierbo genoem, is dit in sommige gevalle eintlik makliker om dit te doen deur probleme met betrekking tot mensedata te bestudeer. Ons aanvaar a priori dat ons dalk vooroordele ten opsigte van verskillende groepe mense kan hê, maar dit is vir ons moeilik om selfs 'n vooroordeel oor Siemens-sensors voor te stel.
Wat natuurlik nuut is oor dit alles, is dat mense nie meer direk statistiese ontleding doen nie. Dit word uitgevoer deur masjiene wat groot, komplekse modelle skep wat moeilik is om te verstaan. Die kwessie van deursigtigheid is een van die hoofaspekte van die probleem van vooroordeel. Ons vrees dat die stelsel nie net bevooroordeeld is nie, maar dat daar geen manier is om sy vooroordeel op te spoor nie, en dat masjienleer verskil van ander vorme van outomatisering, wat veronderstel is om uit duidelike logiese stappe te bestaan wat getoets kan word.
Hier is twee probleme. Ons kan dalk steeds 'n soort oudit van masjienleerstelsels uitvoer. En die ouditering van enige ander stelsel is eintlik nie makliker nie.
Eerstens is een van die rigtings van moderne navorsing op die gebied van masjienleer die soeke na metodes om belangrike funksionaliteit van masjienleerstelsels te identifiseer. Dit gesê, masjienleer (in sy huidige toestand) is 'n heeltemal nuwe veld van wetenskap wat vinnig verander, so moenie dink dat dinge wat vandag onmoontlik is nie binnekort heeltemal werklik kan word nie. Projek - 'n interessante voorbeeld hiervan.
Tweedens, die idee dat jy die besluitnemingsproses van bestaande stelsels of organisasies kan toets en verstaan, is in teorie goed, maar so-so in die praktyk. Dit is nie maklik om te verstaan hoe besluite in 'n groot organisasie geneem word nie. Selfs al is daar 'n formele besluitnemingsproses, weerspieël dit nie hoe mense werklik interaksie het nie, en het hulle self dikwels nie 'n logiese, sistematiese benadering om hul besluite te neem nie. Soos my kollega gesê het , mense is ook swart bokse.
Neem 'n duisend mense in verskeie oorvleuelende maatskappye en instellings, en die probleem word selfs meer kompleks. Ons weet ná die feit dat die Ruimtependeltuig bestem was om met terugkeer op te breek, en individue binne NASA het inligting gehad wat hulle rede gegee het om te dink iets sleg kan gebeur, maar die stelsel oor die algemeen Ek het dit nie geweet nie. NASA het selfs net deur 'n soortgelyke oudit gegaan nadat hy sy vorige pendeltuig verloor het, en tog het dit nog een verloor om 'n baie soortgelyke rede. Dit is maklik om te redeneer dat organisasies en mense duidelike, logiese reëls volg wat getoets, verstaan en verander kan word—maar ondervinding bewys anders. Hierdie "".
Ek vergelyk dikwels masjienleer met databasisse, veral relasioneles – ’n nuwe fundamentele tegnologie wat die vermoëns van rekenaarwetenskap en die wêreld rondom dit verander het, wat deel geword het van alles, wat ons voortdurend gebruik sonder om dit te besef. Databasisse het ook probleme, en hulle is van 'n soortgelyke aard: die stelsel kan gebou wees op slegte aannames of slegte data, maar dit sal moeilik wees om raak te sien, en die mense wat die stelsel gebruik sal doen wat dit vir hulle sê sonder om vrae te vra. Daar is baie ou grappies oor belastingmense wat eens jou naam verkeerd gespel het, en om hulle te oortuig om die fout reg te maak, is baie moeiliker as om eintlik jou naam te verander. Daar is baie maniere om hieroor te dink, maar dit is nie duidelik wat beter is nie: as 'n tegniese probleem in SQL, of as 'n fout in 'n Oracle-vrystelling, of as 'n mislukking van burokratiese instellings? Hoe moeilik is dit om 'n fout in 'n proses te vind wat daartoe gelei het dat die stelsel nie 'n tikfoutregstellingsfunksie het nie? Kon dit uitgepluis gewees het voordat mense begin kla het?
Hierdie probleem word selfs meer eenvoudig geïllustreer deur stories wanneer bestuurders riviere inry as gevolg van verouderde data in die navigator. Goed, kaarte moet voortdurend opgedateer word. Maar hoeveel is TomTom te blameer dat jou motor see toe gewaai is?
Die rede waarom ek dit sê, is dat ja, masjienleer-vooroordeel probleme sal skep. Maar hierdie probleme sal soortgelyk wees aan dié wat ons in die verlede in die gesig gestaar het, en hulle kan opgemerk en opgelos word (of nie) omtrent so goed as wat ons in die verlede kon. Daarom is dit onwaarskynlik dat 'n scenario waarin KI-vooroordeel skade veroorsaak sal gebeur met senior navorsers wat in 'n groot organisasie werk. Heel waarskynlik sal een of ander onbeduidende tegnologiekontrakteur of sagtewareverkoper iets op hul knieë skryf deur oopbronkomponente, biblioteke en gereedskap te gebruik wat hulle nie verstaan nie. En die ongelukkige kliënt sal die frase "kunsmatige intelligensie" in die produkbeskrywing koop en, sonder om enige vrae te vra, dit aan sy laagbetaalde werknemers versprei en hulle beveel om te doen wat die KI sê. Dit is presies wat met databasisse gebeur het. Dit is nie 'n kunsmatige intelligensie probleem, of selfs 'n sagteware probleem. Dit is die menslike faktor.
Gevolgtrekking
Masjienleer kan enigiets doen wat jy 'n hond kan leer - maar jy kan nooit seker wees wat presies jy die hond geleer het nie.
Ek voel dikwels dat die term “kunsmatige intelligensie” net in die pad kom van gesprekke soos hierdie. Hierdie term gee die wanindruk dat ons dit eintlik geskep het – hierdie intelligensie. Dat ons op pad is na HAL9000 of Skynet – iets wat eintlik verstaan. Maar nee. Dit is net masjiene, en dit is baie meer akkuraat om dit te vergelyk met byvoorbeeld 'n wasmasjien. Sy wasgoed was baie beter as 'n mens, maar as jy skottelgoed in haar sit in plaas van wasgoed, sal sy ... dit was. Die skottelgoed sal selfs skoon word. Maar dit sal nie wees wat jy verwag het nie, en dit sal nie gebeur nie, want die stelsel het enige vooroordele rakende geregte. Die wasmasjien weet nie wat skottelgoed is of wat klere is nie - dit is net 'n voorbeeld van outomatisering, konseptueel nie anders as hoe prosesse voorheen geoutomatiseer is nie.
Of ons nou van motors, vliegtuie of databasisse praat, hierdie stelsels sal beide baie kragtig en baie beperk wees. Hulle sal geheel en al afhang van hoe mense hierdie stelsels gebruik, of hul bedoelings goed of sleg is, en hoeveel hulle verstaan hoe hulle werk.
Om dus te sê dat "kunsmatige intelligensie wiskunde is, dus kan dit nie vooroordele hê nie" is heeltemal onwaar. Maar dit is ewe onwaar om te sê dat masjienleer "subjektief van aard" is. Masjienleer vind patrone in data, en watter patrone dit vind hang af van die data, en die data hang van ons af. Net soos wat ons met hulle doen. Masjienleer doen sekere dinge baie beter as wat ons kan - maar honde is byvoorbeeld baie meer effektief as mense om dwelms op te spoor, wat nie 'n rede is om hulle as getuies te gebruik en uitsprake te maak op grond van hul getuienis nie. En honde, terloops, is baie slimmer as enige masjienleerstelsel.
Vertaling: .
Redigering: .
Gemeenskap: .
Bron: will.com