tl; dr:
- Maŝina lernado serĉas ŝablonojn en datumoj. Sed artefarita inteligenteco povas esti "partia" - tio estas, trovi ŝablonojn kiuj estas malĝustaj. Ekzemple, fot-bazita haŭtkancero-detekta sistemo povus doni specialan atenton al bildoj prenitaj en la oficejo de kuracisto. Maŝina lernado ne povas kompreni: ĝiaj algoritmoj nur identigas ŝablonojn en nombroj, kaj se la datumoj ne estas reprezentaj, ankaŭ la rezulto de ĝia prilaborado. Kaj kapti tiajn cimojn povas esti malfacila pro la mekaniko mem de maŝinlernado.
- La plej evidenta kaj timiga problema areo estas homa diverseco. Estas multaj kialoj, kial datumoj pri homoj povas perdi objektivecon eĉ ĉe la kolektostadio. Sed ne pensu, ke ĉi tiu problemo nur influas homojn: ekzakte la samaj malfacilaĵoj aperas kiam oni provas detekti inundon en magazeno aŭ malsukcesan gasturbinon. Iuj sistemoj povas esti partiaj al haŭtkoloro, aliaj estos partiaj al Siemens-sensiloj.
- Tiaj problemoj ne estas novaj por maŝinlernado, kaj ili estas tute ne unikaj por ĝi. Malĝustaj supozoj estas faritaj en iu kompleksa strukturo, kaj kompreni kial aparta decido estis farita estas ĉiam malfacila. Ni devas kontraŭbatali ĉi tion en ampleksa maniero: krei ilojn kaj procezojn por konfirmo - kaj eduki uzantojn por ke ili ne blinde sekvu AI-rekomendojn. Maŝinlernado faras iujn aferojn multe pli bone ol ni povas - sed hundoj, ekzemple, estas multe pli efikaj ol homoj ĉe detektado de drogoj, kio ne estas kialo uzi ilin kiel atestantojn kaj fari juĝojn bazitajn sur ilia atesto. Kaj hundoj, cetere, estas multe pli inteligentaj ol iu ajn maŝinlernada sistemo.
Maŝina lernado estas unu el la plej gravaj fundamentaj teknologiaj tendencoj hodiaŭ. Ĉi tio estas unu el la ĉefaj manieroj, per kiuj teknologio ŝanĝos la mondon ĉirkaŭ ni en la venonta jardeko. Iuj aspektoj de ĉi tiuj ŝanĝoj estas kaŭzo de maltrankvilo. Ekzemple, la ebla efiko de maŝinlernado sur la labormerkato, aŭ ĝia uzo por maletikaj celoj (ekzemple, de aŭtoritataj reĝimoj). Estas alia problemo, kiun ĉi tiu afiŝo traktas: biaso de artefarita inteligenteco.
Ĉi tio ne estas facila rakonto.
La AI de Google povas trovi katojn. Ĉi tiu novaĵo de 2012 estis io speciala tiam.
Kio estas "AI Bias"?
"Krudaj datumoj" estas kaj oksimoron kaj malbona ideo; datumoj devas esti preparitaj bone kaj zorge. — Geoffrey Bocker
Ie antaŭ 2013, por fari sistemon, kiu, ekzemple, rekonas katojn en fotoj, oni devis priskribi logikajn paŝojn. Kiel trovi angulojn en bildo, rekoni okulojn, analizi teksturojn por felo, kalkuli piedojn, ktp. Poste kunigu ĉiujn komponantojn kaj malkovru, ke ĝi ne vere funkcias. Tre kiel mekanika ĉevalo - teorie ĝi povas esti farita, sed praktike ĝi estas tro kompleksa por priskribi. La fina rezulto estas centoj (aŭ eĉ miloj) da manskribitaj reguloj. Kaj ne unu sola labormodelo.
Kun la apero de maŝina lernado, ni ĉesis uzi "manajn" regulojn por rekoni apartan objekton. Anstataŭe, ni prenas mil specimenojn de "ĉi tio", X, mil specimenojn de "alia", Y, kaj havas la komputilon konstrui modelon bazitan sur ilia statistika analizo. Ni tiam donas al ĉi tiu modelo kelkajn specimenajn datumojn kaj ĝi determinas kun iom da precizeco ĉu ĝi konvenas al unu el la aroj. Maŝinlernado generas modelon de datumoj prefere ol de homo skribanta ĝin. La rezultoj estas impresaj, precipe en la kampo de bildo kaj ŝablono-rekono, kaj tial la tuta teknologia industrio nun moviĝas al maŝinlernado (ML).
Sed ĝi ne estas tiel simpla. En la reala mondo, viaj miloj da ekzemploj de X aŭ Y ankaŭ enhavas A, B, J, L, O, R kaj eĉ L. Ĉi tiuj eble ne estas egale distribuitaj, kaj iuj povas okazi tiel ofte, ke la sistemo pagos pli. atenton al ili ol al objektoj, kiuj interesas vin.
Kion ĉi tio signifas en la praktiko? Mia plej ŝatata ekzemplo estas kiam sistemoj de rekono de bildoj . Estas klare kial: la plej multaj el la ekzemplaj fotoj de "ŝafoj" estas prenitaj en la herbejoj kie ili loĝas, kaj en ĉi tiuj bildoj la herbo okupas multe pli da spaco ol la malgrandaj blankaj lanugoj, kaj estas la herbo, kiun la sistemo konsideras plej grava. .
Estas pli seriozaj ekzemploj. Unu lastatempa por detekti haŭtkancero en fotoj. Rezultis, ke dermatologoj ofte fotas la reganton kune kun la manifestiĝoj de haŭta kancero por registri la grandecon de la formacioj. Ne estas regantoj en la ekzemplofotoj de sana haŭto. Por AI-sistemo, tiaj regantoj (pli precize, la pikseloj, kiujn ni difinas kiel "reganto"), fariĝis unu el la diferencoj inter aroj de ekzemploj, kaj foje pli gravaj ol malgranda erupcio sur la haŭto. Do sistemo kreita por identigi haŭtkancero foje rekonis regantojn anstataŭe.
La ŝlosila punkto ĉi tie estas, ke la sistemo ne havas semantikan komprenon pri tio, kion ĝi rigardas. Ni rigardas aron da pikseloj kaj vidas en ili ŝafon, haŭton aŭ regulojn, sed la sistemo estas nur nombra linio. Ŝi ne vidas tridimensian spacon, ne vidas objektojn, teksturojn aŭ ŝafojn. Ŝi simple vidas ŝablonojn en la datumoj.
La malfacileco por diagnozi tiajn problemojn estas, ke la neŭrala reto (la modelo generita de via maŝinlernadsistemo) konsistas el miloj da centoj da miloj da nodoj. Ne estas facila maniero rigardi en modelon kaj vidi kiel ĝi faras decidon. Havi tian manieron signifus, ke la procezo estas sufiĉe simpla por priskribi ĉiujn regulojn permane, sen uzi maŝinlernadon. Homoj maltrankviliĝas, ke maŝinlernado fariĝis ia nigra skatolo. (Mi klarigos iom poste kial ĉi tiu komparo estas ankoraŭ tro multe.)
Ĉi tio, ĝenerale, estas la problemo de biaso en artefarita inteligenteco aŭ maŝinlernado: sistemo por trovi ŝablonojn en datumoj povas trovi malĝustajn ŝablonojn, kaj vi eble ne rimarkos ĝin. Ĉi tio estas fundamenta karakterizaĵo de la teknologio, kaj ĝi estas evidenta por ĉiuj, kiuj laboras kun ĝi en akademio kaj ĉe grandaj teknologiaj kompanioj. Sed ĝiaj sekvoj estas kompleksaj, kaj ankaŭ niaj eblaj solvoj al tiuj sekvoj.
Ni unue parolu pri la konsekvencoj.
AI povas, implicite por ni, fari elekton favore al iuj kategorioj de homoj, surbaze de granda nombro da nepercepteblaj signaloj.
AI Bias Scenaroj
Plej evidente kaj timige, ĉi tiu problemo povas manifestiĝi kiam temas pri homa diverseco. Lastatempe ke Amazon provis konstrui maŝinlernsistemon por komenca ekzamenado de laborkandidatoj. Ĉar ekzistas pli da viroj inter Amazon-laboristoj, ekzemploj de "sukcesa dungado" ankaŭ estas pli ofte viraj, kaj estis pli da viroj en la elekto de vivresumoj proponitaj de la sistemo. Amazon rimarkis tion kaj ne liberigis la sistemon en produktadon.
La plej grava afero en ĉi tiu ekzemplo estas ke la sistemo estis disvastigita favori virajn kandidatojn, malgraŭ la fakto ke sekso ne estis specifita en la vivresumo. La sistemo vidis aliajn padronojn en ekzemploj de "bonaj dungoj": ekzemple, virinoj eble uzos specialajn vortojn por priskribi atingojn, aŭ havi specialajn ŝatokupojn. Kompreneble, la sistemo ne sciis kio estas "hokeo", aŭ kiuj estas "homoj", aŭ kio estas "sukceso" - ĝi simple faris statistikan analizon de la teksto. Sed la ŝablonoj, kiujn ŝi vidis, plej verŝajne pasus nerimarkitaj de homoj, kaj kelkaj el ili (ekzemple, la fakto, ke homoj de malsamaj seksoj priskribas sukceson malsame) verŝajne estus malfacile por ni vidi eĉ se ni rigardus ilin.
Plu - pli malbone. Maŝinlernada sistemo, kiu tre kapablas trovi kanceron sur pala haŭto, eble ne funkcias tiel bone sur malhela haŭto, aŭ inverse. Ne nepre pro antaŭjuĝo, sed ĉar vi verŝajne bezonas konstrui apartan modelon por malsama haŭtokoloro, elektante malsamajn trajtojn. Maŝinlernadsistemoj ne estas interŝanĝeblaj eĉ en tia mallarĝa areo kiel bildrekono. Vi devas ĝustigi la sistemon, foje nur per provo kaj eraro, por akiri bonan pritrakton pri la funkcioj en la datumoj, pri kiuj vi interesiĝas, ĝis vi atingos la precizecon, kiun vi volas. Sed kion vi eble ne rimarkas, estas ke la sistemo estas preciza 98% de la tempo kun unu grupo, kaj nur 91% (eĉ pli preciza ol homa analizo) kun la alia.
Ĝis nun mi uzis ĉefe ekzemplojn rilatajn al homoj kaj iliaj trajtoj. La diskuto ĉirkaŭ ĉi tiu problemo ĉefe temigas ĉi tiun temon. Sed gravas kompreni, ke antaŭjuĝo al homoj estas nur parto de la problemo. Ni uzos maŝinlernadon por multaj aferoj, kaj specimena eraro estos grava por ĉiuj ili. Aliflanke, se vi laboras kun homoj, la antaŭjuĝo en la datumoj eble ne rilatas al ili.
Por kompreni ĉi tion, ni revenu al la ekzemplo de haŭta kancero kaj konsideru tri hipotezajn eblecojn por sistema fiasko.
- Heterogena distribuo de homoj: malekvilibra nombro da fotoj de malsamaj haŭtnuancoj, kondukante al falsaj pozitivoj aŭ falsaj negativoj pro pigmentado.
- La datumoj pri kiuj la sistemo estas trejnita enhavas ofte okazantan kaj heterogene distribuitan trajton, kiu ne estas rilata al homoj kaj havas neniun diagnozan valoron: reganto en fotoj de haŭta kancero aŭ herbo en fotoj de ŝafoj. En ĉi tiu kazo, la rezulto estos malsama se la sistemo trovas pikselojn en la bildo de io, kion la homa okulo identigas kiel "reganto".
- La datumoj enhavas triapartan karakterizaĵon, kiun homo ne povas vidi eĉ se li serĉas ĝin.
Kion ĝi signifas? Ni scias apriore, ke datumoj povas reprezenti malsamajn grupojn de homoj malsame, kaj minimume ni povas plani serĉi tiajn esceptojn. Alivorte, ekzistas multaj sociaj kialoj por supozi, ke datumoj pri grupoj de homoj jam enhavas iom da antaŭjuĝo. Se ni rigardas la foton kun la reganto, ni vidos ĉi tiun reganton - ni simple ignoris ĝin antaŭe, sciante, ke tio ne gravas, kaj forgesante, ke la sistemo scias nenion.
Sed kio se ĉiuj viaj fotoj de malsana haŭto estus prenitaj en oficejo sub inkandeska lumo, kaj via sana haŭto estus prenita sub fluoreska lumo? Kio se, post kiam vi finis pafi sanan haŭton, antaŭ ol pafi nesanan haŭton, vi ĝisdatigis la operaciumon en via telefono, kaj Apple aŭ Google iomete ŝanĝis la bruoreduktan algoritmon? Homo ne povas rimarki ĉi tion, kiom ajn li serĉas tiajn funkciojn. Sed la maŝin-uza sistemo tuj vidos kaj uzos ĉi tion. Ŝi scias nenion.
Ĝis nun ni parolis pri falsaj korelacioj, sed ankaŭ povus esti, ke la datumoj estas precizaj kaj la rezultoj estas ĝustaj, sed vi ne volas uzi ilin pro etikaj, juraj aŭ administradaj kialoj. Kelkaj jurisdikcioj, ekzemple, ne permesas al virinoj ricevi rabaton pri sia asekuro, kvankam virinoj povas esti pli sekuraj ŝoforoj. Ni povas facile imagi sistemon, kiu, kiam oni analizas historiajn datumojn, asignus pli malaltan riskfaktoron al inaj nomoj. Bone, ni forigu nomojn el la elekto. Sed memoru la ekzemplon de Amazon: la sistemo povas determini sekson surbaze de aliaj faktoroj (kvankam ĝi ne scias kia sekso estas, aŭ eĉ kio estas aŭto), kaj vi ne rimarkos tion ĝis la reguligisto retroaktive analizos la tarifojn, kiujn vi. ofertu kaj ŝarĝas vin, ke vi estos monpunita.
Fine, oni ofte supozas, ke ni nur uzos tiajn sistemojn por projektoj, kiuj implikas homojn kaj sociajn interagojn. Ĉi tio estas malĝusta. Se vi faras gasturbinojn, vi verŝajne volos apliki maŝinlernadon al la telemetrio transdonita de dekoj aŭ centoj da sensiloj sur via produkto (aŭdio, vidbendo, temperaturo kaj ajnaj aliaj sensiloj generas datumojn tre facile adapteblajn por krei maŝinon). lerna modelo). Hipoteze oni povus diri: “Jen datumoj de mil turbinoj, kiuj malsukcesis antaŭ ol ili malsukcesis, kaj jen datumoj de mil turbinoj, kiuj ne malsukcesis. Konstruu modelon por diri, kio estas la diferenco inter ili." Nu, nun imagu, ke Siemens-sensiloj estas instalitaj sur 75% de malbonaj turbinoj, kaj nur 12% de bonaj (ne ekzistas rilato kun misfunkciadoj). La sistemo konstruos modelon por trovi turbinojn kun Siemens-sensiloj. Ho!
Bildo - Moritz Hardt, UC Berkeley
Administrado de AI Bias
Kion ni povas fari pri ĝi? Vi povas trakti la aferon el tri anguloj:
- Metodologia rigoro en kolektado kaj administrado de datumoj por trejnado de la sistemo.
- Teknikaj iloj por analizi kaj diagnozi modelan konduton.
- Trejnu, eduku kaj zorgu kiam vi efektivigas maŝinlernadon en produktoj.
Estas ŝerco en la libro de Molière "La burĝoj en la nobelaro": unu viro estis rakontita ke literaturo estas dividita en prozo kaj poezio, kaj li estis ĝoja malkovri ke li parolis en prozo dum sia tuta vivo, sen scii ĝin. Verŝajne tiel sentas la statistikistoj hodiaŭ: sen rimarki tion, ili dediĉis sian karieron al artefarita inteligenteco kaj specimena eraro. Serĉi specimenan eraron kaj zorgi pri ĝi ne estas nova problemo, ni nur bezonas sisteme alproksimiĝi al ĝia solvo. Kiel menciite supre, en iuj kazoj estas efektive pli facile fari tion studante problemojn rilatajn al homoj-datumoj. Ni apriore supozas, ke ni povas havi antaŭjuĝojn pri malsamaj grupoj de homoj, sed estas malfacile por ni eĉ imagi antaŭjuĝon pri Siemens-sensiloj.
Kio estas nova pri ĉio ĉi, kompreneble, estas ke homoj ne plu faras statistikan analizon rekte. Ĝi estas efektivigita de maŝinoj, kiuj kreas grandajn, kompleksajn modelojn, kiuj estas malfacile kompreneblaj. La temo de travidebleco estas unu el la ĉefaj aspektoj de la problemo de biaso. Ni timas, ke la sistemo ne estas nur partia, sed ke ekzistas neniu maniero detekti ĝian antaŭjuĝon, kaj ke maŝinlernado estas diferenca de aliaj formoj de aŭtomatigo, kiuj supozeble konsistas el klaraj logikaj paŝoj kiuj povas esti testitaj.
Estas du problemoj ĉi tie. Ni eble ankoraŭ povos fari ian revizion de maŝinlernantaj sistemoj. Kaj revizii ajnan alian sistemon fakte ne estas pli facila.
Unue, unu el la direktoj de moderna esplorado en la kampo de maŝinlernado estas la serĉo de metodoj por identigi gravan funkciecon de maŝinlernado-sistemoj. Dirite, maŝinlernado (en sia nuna stato) estas tute nova kampo de scienco, kiu ŝanĝiĝas rapide, do ne pensu, ke aferoj, kiuj estas neeblaj hodiaŭ, ne povas baldaŭ fariĝi tute realaj. Projekto - interesa ekzemplo de tio.
Due, la ideo, ke vi povas testi kaj kompreni la decidprocezon de ekzistantaj sistemoj aŭ organizoj, estas bona teorie, sed tiel praktike. Kompreni kiel decidoj estas faritaj en granda organizo ne estas facila. Eĉ se ekzistas formala decidprocezo, ĝi ne reflektas kiel homoj fakte interagas, kaj ili mem ofte ne havas logikan, sisteman aliron por fari siajn decidojn. Kiel diris mia kolego , homoj ankaŭ estas nigraj skatoloj.
Prenu mil homojn en pluraj interkovritaj kompanioj kaj institucioj, kaj la problemo fariĝas eĉ pli kompleksa. Ni scias post tio, ke la Kosmopramo estis destinita disiĝi post reveno, kaj individuoj ene de NASA havis informojn, kiuj donis al ili kialon pensi, ke io malbona povus okazi, sed la sistemo ĝenerale Mi ne sciis ĉi tion. NASA eĉ nur travivis similan revizion post perdo de sia antaŭa navedo, kaj tamen ĝi perdis alian pro tre simila kialo. Estas facile argumenti, ke organizoj kaj homoj sekvas klarajn, logikajn regulojn, kiujn oni povas provi, kompreni kaj ŝanĝi—sed la sperto pruvas la malon. Ĉi tiu"".
Mi ofte komparas maŝinlernadon kun datumbazoj, precipe interrilataj – nova fundamenta teknologio, kiu ŝanĝis la kapablojn de komputiko kaj la mondo ĉirkaŭ ĝi, kiu fariĝis parto de ĉio, kiun ni uzas konstante sen rimarki tion. Datumbazoj ankaŭ havas problemojn, kaj ili estas de simila naturo: la sistemo povas esti konstruita sur malbonaj supozoj aŭ malbonaj datumoj, sed estos malfacile rimarki, kaj la homoj uzantaj la sistemon faros tion, kion ĝi diras al ili sen demandi demandojn. Estas multaj malnovaj ŝercoj pri impostaj homoj, kiuj iam malĝuste literumis vian nomon, kaj konvinki ilin korekti la eraron estas multe pli malfacila ol efektive ŝanĝi vian nomon. Estas multaj manieroj pensi pri tio, sed ne klaras, kio estas pli bona: kiel teknika problemo en SQL, aŭ kiel cimo en Oracle-eldono, aŭ kiel fiasko de burokratiaj institucioj? Kiom malfacile estas trovi cimon en procezo, kiu kondukis al la sistemo ne havi tajperkorektan funkcion? Ĉu tio povus esti eltrovita antaŭ ol homoj komencis plendi?
Ĉi tiu problemo estas ilustrita eĉ pli simple per rakontoj kiam ŝoforoj veturas en riverojn pro malmodernaj datumoj en la navigilo. Bone, mapoj devas esti konstante ĝisdatigitaj. Sed kiom TomTom kulpas, ke via aŭto estas eksplodigita al la maro?
La kialo, ke mi diras ĉi tion, estas, ke jes, maŝinlernado-biaso kreos problemojn. Sed ĉi tiuj problemoj estos similaj al tiuj, kiujn ni alfrontis en la pasinteco, kaj ili povas esti rimarkitaj kaj solvitaj (aŭ ne) tiel bone kiel ni povis en la pasinteco. Tial, scenaro en kiu AI-biaso kaŭzas damaĝon verŝajne ne okazos al altrangaj esploristoj laborantaj en granda organizo. Plej verŝajne, iu sensignifa teknologia entreprenisto aŭ softvaristo skribos ion sur siaj genuoj, uzante malfermfontajn komponantojn, bibliotekojn kaj ilojn, kiujn ili ne komprenas. Kaj la malbonŝanca kliento aĉetos la frazon "artefarita inteligenteco" en la priskribo de la produkto kaj, sen fari demandojn, disdonos ĝin al siaj malaltpagitaj dungitoj, ordonante al ili fari tion, kion diras la AI. Ĝuste tio okazis kun datumbazoj. Ĉi tio ne estas problemo pri artefarita inteligenteco, aŭ eĉ programara problemo. Ĉi tio estas la homa faktoro.
konkludo
Maŝina lernado povas fari ĉion, kion vi povas instrui al hundo - sed vi neniam povas esti certa, kion precize vi instruis al la hundo.
Mi ofte sentas, ke la esprimo "artefarita inteligenteco" nur malhelpas tiajn konversaciojn. Ĉi tiu termino donas la malveran impreson, ke ni efektive kreis ĝin - ĉi tiu inteligenteco. Ke ni estas survoje al HAL9000 aŭ Skynet - io, kio fakte komprenas. Sed ne. Ĉi tiuj estas nur maŝinoj, kaj estas multe pli precize kompari ilin al, ekzemple, lavmaŝino. Ŝi lavadas multe pli bone ol homo, sed se vi metos telerojn en ŝi anstataŭ lavotaĵon, ŝi... lavos ilin. La pladoj eĉ fariĝos puraj. Sed ĉi tio ne estos tio, kion vi atendis, kaj ĉi tio ne okazos ĉar la sistemo havas ajnajn antaŭjuĝojn rilate pladojn. La lavmaŝino ne scias, kio estas teleroj aŭ kiaj vestaĵoj - ĝi estas nur ekzemplo de aŭtomatigo, koncipe ne malsama ol kiel procezoj estis aŭtomatigitaj antaŭe.
Ĉu ni parolas pri aŭtoj, aviadiloj aŭ datumbazoj, ĉi tiuj sistemoj estos kaj tre potencaj kaj tre limigitaj. Ili dependos tute de kiel homoj uzas ĉi tiujn sistemojn, ĉu iliaj intencoj estas bonaj aŭ malbonaj, kaj kiom ili komprenas kiel ili funkcias.
Tial, diri ke "artefarita inteligenteco estas matematiko, do ĝi ne povas havi biasojn" estas tute malvera. Sed estas same malvere diri, ke maŝinlernado estas "subjektiva en naturo". Maŝinlernado trovas ŝablonojn en datumoj, kaj kiaj ŝablonoj ĝi trovas dependas de la datumoj, kaj la datumoj dependas de ni. Same kiel kion ni faras kun ili. Maŝinlernado faras iujn aferojn multe pli bone ol ni povas - sed hundoj, ekzemple, estas multe pli efikaj ol homoj ĉe detektado de drogoj, kio ne estas kialo uzi ilin kiel atestantojn kaj fari juĝojn bazitajn sur ilia atesto. Kaj hundoj, cetere, estas multe pli inteligentaj ol iu ajn maŝinlernada sistemo.
Tradukado: .
Redaktado: .
Komunumo: .
fonto: www.habr.com