tl; dr:
- Masine learen siket patroanen yn gegevens. Mar keunstmjittige yntelliginsje kin "beoardiele" wêze - dat is, fyn patroanen dy't ferkeard binne. Bygelyks, in foto-basearre hûdkankerdeteksjesysteem kin spesjaal omtinken jaan oan ôfbyldings dy't yn in dokterskantoar binne makke. Masine learen kin net begripe: syn algoritmen identifisearje allinich patroanen yn nûmers, en as de gegevens net represintatyf binne, sil it resultaat fan har ferwurking ek wêze. En it fangen fan sokke bugs kin lestich wêze fanwege de heul meganika fan masine learen.
- It meast foar de hân lizzende en skriklike probleemgebiet is minsklik ferskaat. D'r binne in protte redenen wêrom't gegevens oer minsken objektiviteit kinne ferlieze, sels yn 'e samlingstadium. Mar tink net dat dit probleem allinnich minsken beynfloedet: krekt deselde swierrichheden ûntsteane by it besykjen fan in oerstreaming yn in pakhús of in mislearre gasturbine. Guon systemen kinne betinke wêze foar hûdskleur, oaren sille bias wêze foar Siemens-sensors.
- Sokke problemen binne net nij foar masine learen, en se binne fier fan unyk foar it. Ferkearde oannames wurde makke yn elke komplekse struktuer, en begryp wêrom't in bepaald beslút is makke is altyd lestich. Wy moatte dit op in wiidweidige manier bestride: ark en prosessen meitsje foar ferifikaasje - en brûkers opliede sadat se AI-oanbefellings net blyn folgje. Masine learen docht guon dingen folle better dan wy kinne - mar hûnen, bygelyks, binne folle effektiver dan minsken by it opspoaren fan drugs, wat gjin reden is om se as tsjûgen te brûken en oardielen te meitsjen op basis fan har tsjûgenis. En hûnen, trouwens, binne folle tûker dan elk masine-learsysteem.
Masine learen is hjoed ien fan 'e wichtichste fûnemintele technologytrends. Dit is ien fan 'e wichtichste manieren wêrop technology de wrâld om ús hinne sil feroarje yn' e kommende desennia. Guon aspekten fan dizze feroarings binne reden foar soarch. Bygelyks, de potinsjele ynfloed fan masine learen op 'e arbeidsmerk, of it brûken dêrfan foar unethyske doelen (bygelyks troch autoritêre rezjyms). D'r is in oar probleem dat dizze post oanpakt: bias fan keunstmjittige yntelliginsje.
Dit is gjin maklik ferhaal.
Google's AI kin katten fine. Dit nijs út 2012 wie doe wat bysûnders.
Wat is "AI Bias"?
"Raw data" is sawol in oxymoron en in min idee; gegevens moatte wurde taret goed en soarchfâldich. — Geoffrey Boker
Earne foar 2013, om in systeem te meitsjen dat bygelyks katten op foto's herkent, moasten jo logyske stappen beskriuwe. Hoe fine jo hoeken yn in ôfbylding, werkenne eagen, analysearje tekstueren foar bont, telle poaten, ensfh. Set dan alle komponinten byinoar en ûntdek dat it net echt wurket. Krekt as in meganysk hynder - teoretysk kin it makke wurde, mar yn 'e praktyk is it te kompleks om te beskriuwen. It einresultaat is hûnderten (of sels tûzenen) mei de hân skreaune regels. En net ien wurkmodel.
Mei de komst fan masine learen binne wy ophâlden mei it brûken fan "hânlieding" regels foar it herkennen fan in bepaald objekt. Ynstee nimme wy tûzen samples fan "dit", X, tûzen samples fan "oare", Y, en lit de kompjûter in model bouwe op basis fan har statistyske analyze. Wy jouwe dit model dan wat foarbyldgegevens en it bepaalt mei wat krektens oft it past by ien fan 'e sets. Masine learen genereart in model út gegevens ynstee fan in minske dy't it skriuwt. De resultaten binne yndrukwekkend, benammen op it mêd fan byld- en patroanherkenning, en dat is de reden wêrom't de heule techsektor no oerstapt nei masine learen (ML).
Mar sa ienfâldich is it net. Yn 'e echte wrâld befetsje jo tûzenen foarbylden fan X of Y ek A, B, J, L, O, R, en sels L. Dizze kinne net lyklik ferdield wurde, en guon kinne sa faak foarkomme dat it systeem mear sil betelje oandacht foar har dan foar objekten dy't jo ynteressearje.
Wat betsjut dit yn 'e praktyk? Myn favorite foarbyld is doe't byld erkenning systemen . It is dúdlik wêrom: de measte foarbyldfoto's fan "skiep" wurde makke yn 'e greiden dêr't se wenje, en op dizze bylden nimt it gers folle mear romte yn as de lytse wite pluisjes, en it is it gers dat it systeem it wichtichste fynt .
Der binne mear serieuze foarbylden. Ien resinte foar it opspoaren fan hûdkanker op foto's. It die bliken dat dermatologen faak de liniaal fotografearje tegearre mei de manifestaasjes fan hûdkanker om de grutte fan 'e formaasjes op te nimmen. D'r binne gjin hearskers yn 'e foarbyldfoto's fan sûne hûd. Foar in AI-systeem binne sokke hearskers (krekter sein, de piksels dy't wy definiearje as in "liniaal") ien fan 'e ferskillen wurden tusken sets fan foarbylden, en soms wichtiger as in lytse útslach op 'e hûd. Dus in systeem makke om hûdkanker te identifisearjen erkende soms hearskers ynstee.
It wichtichste punt hjir is dat it systeem gjin semantysk begryp hat fan wêr't it nei sjocht. Wy sjogge op in set fan piksels en sjogge yn harren in skiep, skin of linialen, mar it systeem is mar in nûmer line. Se sjocht gjin trijediminsjonale romte, sjocht gjin objekten, tekstueren of skiep. Se sjocht gewoan patroanen yn 'e gegevens.
De swierrichheid by it diagnostearjen fan sokke problemen is dat it neurale netwurk (it model generearre troch jo masine-learsysteem) bestiet út tûzenen hûnderttûzenen knopen. D'r is gjin maklike manier om in model te besjen en te sjen hoe't it in beslút makket. Sa'n manier hawwe soe betsjutte dat it proses ienfâldich genôch is om alle regels manuell te beskriuwen, sûnder masine learen te brûken. Minsken meitsje har soargen dat masinelearen wat fan in swarte doaze wurden is. (Ik sil in bytsje letter útlizze wêrom't dizze fergeliking noch te folle is.)
Dit, yn algemiene termen, is it probleem fan bias yn keunstmjittige yntelliginsje of masine learen: in systeem foar it finen fan patroanen yn gegevens kin fine de ferkearde patroanen, en jo meie net fernimme. Dit is in fûnemintele karakteristyk fan 'e technology, en it is fanselssprekkend foar elkenien dy't dermei wurket yn 'e akademyske wrâld en by grutte techbedriuwen. Mar de gefolgen dêrfan binne kompleks, en sa binne ús mooglike oplossingen foar dy gefolgen.
Lit ús earst prate oer de gefolgen.
AI kin, ymplisyt foar ús, in kar meitsje yn it foardiel fan bepaalde kategoryen minsken, basearre op in grut oantal ûnmerkbere sinjalen
AI Bias Senario's
Meast fansels en beangstigjend kin dit probleem himsels manifestearje as it giet om minsklik ferskaat. Recent dat Amazon besocht in masine-learsysteem te bouwen foar inisjele screening fan kandidaten foar wurk. Om't d'r mear manlju binne ûnder Amazon-arbeiders, binne foarbylden fan "suksesfolle ynhier" ek faker manlik, en d'r wiene mear manlju yn 'e seleksje fan CV's foarsteld troch it systeem. Amazon merkte dit op en liet it systeem net yn produksje frij.
It wichtichste ding yn dit foarbyld is dat it systeem waard geroften om manlike sollisitanten te favorisearjen, nettsjinsteande it feit dat it geslacht net op 'e CV waard oanjûn. It systeem seach oare patroanen yn foarbylden fan "goede hieren": froulju kinne bygelyks spesjale wurden brûke om prestaasjes te beskriuwen, of hawwe spesjale hobby's. Fansels wist it systeem net wat "hockey" wie, of wa't "minsken" wiene, of wat "súkses" wie - it hat gewoan in statistyske analyze fan 'e tekst útfierd. Mar de patroanen dy't se seach soe nei alle gedachten ûngemurken bliuwe troch minsken, en guon fan harren (bygelyks it feit dat minsken fan ferskillende geslachten beskriuwe súkses oars) soe nei alle gedachten wêze lestich foar ús om te sjen sels as wy seagen nei harren.
Fierder - slimmer. In masine-learsysteem dat heul goed is yn it finen fan kanker op bleke hûd kin net sa goed prestearje op donkere hûd, of oarsom. Net needsaaklik fanwege bias, mar om't jo wierskynlik in apart model moatte bouwe foar in oare hûdskleur, ferskate skaaimerken kieze. Masine-learsystemen binne net útwikselber, sels yn sa'n smel gebiet as ôfbyldingsherkenning. Jo moatte it systeem oanpasse, soms gewoan troch probearjen en flater, om in goede hân te krijen oer de funksjes yn 'e gegevens wêryn jo ynteressearre binne oant jo de krektens berikke dy't jo wolle. Mar wat jo miskien net merke is dat it systeem 98% fan 'e tiid akkuraat is mei ien groep, en allinich 91% (noch krekter as minsklike analyze) mei de oare.
Oant no ta haw ik benammen foarbylden brûkt oer minsken en har skaaimerken. De diskusje oer dit probleem rjochtet him benammen op dit ûnderwerp. Mar it is wichtich om te begripen dat foaroardielen foar minsken mar in diel fan it probleem is. Wy sille masine learen brûke foar in protte dingen, en samplingflater sil relevant wêze foar allegear. Oan 'e oare kant, as jo mei minsken wurkje, kin de bias yn' e gegevens net mei har relatearre wurde.
Om dit te begripen, litte wy weromgean nei it foarbyld fan hûdkanker en beskôgje trije hypotetyske mooglikheden foar systeemfalen.
- Heterogene ferdieling fan minsken: in unbalansearre oantal foto's fan ferskate hûdtones, dy't liedt ta falske positiven of falske negativen troch pigmentaasje.
- De gegevens dêr't it systeem op traind wurdt, befettet in faak foarkommende en heterogeen ferdielde eigenskip dy't net mei minsken ferbûn is en gjin diagnostyske wearde hat: in liniaal op foto's fan hûdkanker of gers op foto's fan skiep. Yn dit gefal sil it resultaat oars wêze as it systeem piksels fynt yn 'e ôfbylding fan iets dat it minsklik each identifisearret as in "liniaal".
- De gegevens befetsje in karakteristyk fan tredden dat in persoan net kin sjen, sels as hy der nei siket.
Wat betsjut dat? Wy witte a priori dat gegevens ferskate groepen minsken oars kinne fertsjinwurdigje, en op syn minst kinne wy planne om nei sokke útsûnderingen te sykjen. Mei oare wurden, d'r binne genôch sosjale redenen om oan te nimmen dat gegevens oer groepen minsken al wat bias befetsje. As wy nei de foto mei de liniaal sjogge, sille wy dizze liniaal sjen - wy negeare it gewoan earder, wittende dat it net útmakket, en ferjitte dat it systeem neat wit.
Mar wat as al jo foto's fan ûnsûne hûd waarden nommen yn in kantoar ûnder gloeiende ljocht, en jo sûne hûd waard nommen ûnder fluorescent ljocht? Wat as jo, nei't jo klear binne mei it sjitten fan sûne hûd, foardat jo ûnsûne hûd sjitte, it bestjoeringssysteem op jo tillefoan bywurke hawwe, en Apple as Google it algoritme foar lûdreduksje in bytsje feroare? In persoan kin dit net fernimme, nettsjinsteande hoefolle hy siket nei sokke funksjes. Mar it masine-gebrûksysteem sil dit daliks sjen en brûke. Se wit fan neat.
Oant no hawwe wy it oer falske korrelaasjes, mar it kin ek wêze dat de gegevens krekt binne en de resultaten korrekt binne, mar jo wolle se net brûke foar etyske, juridyske of bestjoerlike redenen. Guon jurisdiksjes litte bygelyks froulju gjin koarting krije op har fersekering, ek al kinne froulju feiliger sjauffeurs wêze. Wy kinne ús maklik in systeem foarstelle dat, by it analysearjen fan histoaryske gegevens, in legere risikofaktor soe tawize oan froulike nammen. Okee, litte wy nammen út de seleksje fuortsmite. Mar tink oan it Amazon-foarbyld: it systeem kin geslacht bepale op basis fan oare faktoaren (ek al wit it net wat geslacht is, of sels wat in auto is), en jo sille dit net fernimme oant de tafersjochhâlder retroaktyf de tariven analysearret oanbod en charges jo sille wurde boete.
Uteinlik wurdt faak oannommen dat wy sokke systemen allinnich brûke sille foar projekten dy't minsken en sosjale ynteraksjes belûke. Dit is ferkeard. As jo gasturbines meitsje, wolle jo wierskynlik masine learen tapasse op de telemetry dy't troch tsientallen as hûnderten sensoren op jo produkt wurdt oerbrocht (audio, fideo, temperatuer, en alle oare sensors generearje gegevens dy't heul maklik kinne wurde oanpast om in masine te meitsjen learmodel). Hypotetysk kinne jo sizze: "Hjir binne gegevens fan tûzen turbines dy't mislearre foardat se mislearre, en hjir binne gegevens fan tûzen turbines dy't net mislearre. Bou in model om te fertellen wat it ferskil tusken har is. ” No, stel jo no foar dat Siemens-sensors binne ynstalleare op 75% fan minne turbines, en mar 12% fan goede (d'r is gjin ferbining mei mislearrings). It systeem sil in model bouwe om turbines te finen mei Siemens-sensors. Oops!
Foto - Moritz Hardt, UC Berkeley
Behear fan AI Bias
Wat kinne wy der oan dwaan? Jo kinne it probleem benaderje út trije hoeken:
- Metodologyske strangens by it sammeljen en behearen fan gegevens foar training fan it systeem.
- Technyske ark foar analysearjen en diagnoaze fan modelgedrach.
- Trein, opliede en wês foarsichtich by it ymplementearjen fan masine learen yn produkten.
Der is in grapke yn Molière syn boek "De boarger yn de adel": ien man waard ferteld dat literatuer is ferdield yn proaza en poëzy, en hy wie bliid om te ûntdekken dat er syn hiele libben yn proaza sprutsen hie, sûnder it te witten. Dit is wierskynlik hoe't statistiken hjoed fiele: sûnder it te realisearjen hawwe se har karriêre wijd oan keunstmjittige yntelliginsje en samplingflater. Op syk nei sampling flater en soargen oer it is gjin nij probleem, wy moatte gewoan systematysk benaderje syn oplossing. Lykas hjirboppe neamde, is it yn guon gefallen eins makliker om dit te dwaan troch problemen te studearjen yn ferbân mei minskengegevens. Wy geane a priori derfan út dat wy miskien foaroardielen hawwe oangeande ferskate groepen minsken, mar it is dreech foar ús om sels in foaroardiel oer Siemens-sensoren foar te stellen.
Wat nij is oan dit alles, is fansels dat minsken net mear direkt statistyske analyzes dogge. It wurdt útfierd troch masines dy't grutte, komplekse modellen meitsje dy't dreech te begripen binne. De kwestje fan transparânsje is ien fan 'e wichtichste aspekten fan it probleem fan bias. Wy binne bang dat it systeem net allinich bias is, mar dat d'r gjin manier is om syn bias te ûntdekken, en dat masine learen oars is fan oare foarmen fan automatisearring, dy't moatte bestean út dúdlike logyske stappen dy't kinne wurde hifke.
Hjir binne twa problemen. Wy kinne miskien noch in soarte fan kontrôle fan masine-learsystemen útfiere. En it kontrolearjen fan elk oar systeem is eins net makliker.
As earste is ien fan 'e rjochtingen fan modern ûndersyk op it mêd fan masine learen it sykjen nei metoaden om wichtige funksjonaliteit fan masine learsystemen te identifisearjen. Dat sei, masine learen (yn syn hjoeddeistige steat) is in folslein nij fjild fan wittenskip dat rap feroaret, dus tink net dat dingen dy't hjoeddedei ûnmooglik binne net gau echt echt wurde kinne. Projekt - in nijsgjirrich foarbyld fan dit.
Twad, it idee dat jo it beslútfoarmingsproses fan besteande systemen of organisaasjes kinne testen en begripe is goed yn teory, mar sa-sa yn 'e praktyk. Begripe hoe't besluten wurde makke yn in grutte organisaasje is net maklik. Sels as der in formeel beslútfoarmingsproses is, reflektearret it net hoe't minsken eins omgeane, en hawwe se sels faaks gjin logyske, systematyske oanpak om har besluten te nimmen. As myn kollega sei , minsken binne ek swarte doazen.
Nim tûzen minsken yn ferskate oerlappende bedriuwen en ynstellingen, en it probleem wurdt noch komplekser. Wy witte nei it feit dat de Space Shuttle wie ornearre om te brekken by weromkomst, en yndividuen binnen NASA hiene ynformaasje dy't har reden joech om te tinken dat wat slims koe barre, mar it systeem meastal Ik wist dit net. NASA gie sels krekt troch in ferlykbere kontrôle nei it ferliezen fan har foarige shuttle, en dochs ferlear se in oare foar in heul ferlykbere reden. It is maklik om te arguminten dat organisaasjes en minsken dúdlike, logyske regels folgje dy't kinne wurde hifke, begrepen en feroare - mar ûnderfining bewiist oars. Dit "".
Ik fergelykje faaks masine learen mei databases, benammen relationele - in nije fûnemintele technology dy't de mooglikheden fan kompjûterwittenskip en de wrâld der omhinne feroare hat, dy't diel wurden is fan alles, dat wy konstant brûke sûnder it te realisearjen. Databanken hawwe ek problemen, en se binne fan in fergelykbere aard: it systeem kin wurde boud op minne oannames of minne gegevens, mar it sil wêze lestich te merken, en de minsken mei help fan it systeem sil dwaan wat it fertelt harren sûnder in freegje fragen. Der binne in protte âlde grappen oer belesting minsken dy't eartiids stavere jo namme ferkeard, en oertsjûgje se te korrizjearje de flater is folle dreger as eins feroarje jo namme. D'r binne in protte manieren om oer dit te tinken, mar it is net dúdlik wat better is: as in technysk probleem yn SQL, of as in brek yn in Oracle-release, of as in mislearring fan burokratyske ynstellingen? Hoe lestich is it om in brek te finen yn in proses dat hat laat ta it systeem dat gjin typfoutkorreksjefunksje hat? Koe dit west hawwe útfûn foardat minsken begûn te klagen?
Dit probleem wurdt noch ienfâldiger yllustrearre troch ferhalen as bestjoerders rivieren yn ride fanwegen ferâldere gegevens yn 'e navigator. Okee, kaarten moatte konstant bywurke wurde. Mar hoefolle is TomTom de skuld foar dat jo auto yn see útwaaid is?
De reden dat ik dit sis is dat ja, foaroardielen fan masinelearen problemen sille meitsje. Mar dizze problemen sille lykje op dyjingen dy't wy hawwe konfrontearre yn it ferline, en se kinne wurde opmurken en oplost (of net) sa goed as wy koenen yn it ferline. Dêrom is it net wierskynlik dat in senario wêryn AI-bias skea feroarsaket mei senior ûndersikers dy't wurkje yn in grutte organisaasje. Wierskynlik sil ien of oare ûnbelangrike technologyûndernimmer as softwareferkeaper wat op har knibbels skriuwe, mei help fan iepen boarne-komponinten, biblioteken en ark dy't se net begripe. En de ûngelokkige klant sil de útdrukking "keunstmjittige yntelliginsje" keapje yn 'e produktbeskriuwing en, sûnder fragen te stellen, it fersprieden oan syn leechbetelle meiwurkers, en bestelle se te dwaan wat de AI seit. Dit is krekt wat barde mei databases. Dit is gjin probleem mei keunstmjittige yntelliginsje, of sels in softwareprobleem. Dit is de minsklike faktor.
konklúzje
Masine learen kin alles dwaan wat jo in hûn leare kinne - mar jo kinne noait wis wêze wat jo de hûn krekt leard hawwe.
Ik fiel faak dat de term "keunstmjittige yntelliginsje" allinich yn 'e wei komt fan petearen lykas dit. Dizze term jout de falske yndruk dat wy it eins makke hawwe - dizze yntelliginsje. Dat wy binne op 'e wei nei HAL9000 of Skynet - eat dat eins begrypt. Mar nee. Dit binne gewoan masines, en it is folle krekter om se te fergelykjen mei bygelyks in waskmasine. Se docht de wask folle better as in minske, mar as jo skûtel yn har pleatse yn plak fan wask, sil se ... waskje. De skûtels sille sels skjin wurde. Mar dit sil net wêze wat jo ferwachte, en dit sil net barre omdat it systeem hat gjin foaroardielen oangeande gerjochten. De waskmasine wit net wat skûtels binne of wat klean binne - it is gewoan in foarbyld fan automatisearring, konseptueel net oars as hoe't prosessen earder automatisearre waarden.
Oft wy it hawwe oer auto's, fleantugen of databases, dizze systemen sille sawol heul krêftich as heul beheind wêze. Se sille folslein ôfhingje fan hoe't minsken dizze systemen brûke, oft har bedoelingen goed of min binne, en hoefolle se begripe hoe't se wurkje.
Dêrom, om te sizzen dat "keunstmjittige yntelliginsje wiskunde is, dus it kin gjin foaroardielen hawwe" is folslein falsk. Mar it is like falsk om te sizzen dat masine learen "subjektyf fan aard" is. Masine learen fynt patroanen yn gegevens, en hokker patroanen it fynt hinget ôf fan 'e gegevens, en de gegevens binne ôfhinklik fan ús. Krekt as wat wy dogge mei harren. Masine learen docht guon dingen folle better dan wy kinne - mar hûnen, bygelyks, binne folle effektiver dan minsken by it opspoaren fan drugs, wat gjin reden is om se as tsjûgen te brûken en oardielen te meitsjen basearre op har tsjûgenis. En hûnen, trouwens, binne folle tûker dan elk masine-learsysteem.
Oersetting: .
Bewurkje: .
Mienskip: .
Boarne: www.habr.com