tl; dr:
- Mašininis mokymasis ieško duomenų šablonų. Tačiau dirbtinis intelektas gali būti „šališkas“, tai yra, rasti neteisingus modelius. Pavyzdžiui, nuotraukomis pagrįsta odos vėžio aptikimo sistema gali skirti ypatingą dėmesį vaizdams, darytam gydytojo kabinete. Mašininis mokymasis negali kad suprastum: jo algoritmai nustato tik skaičių modelius, o jei duomenys nėra reprezentatyvūs, tai bus ir jų apdorojimo rezultatas. Ir pagauti tokias klaidas gali būti sunku dėl pačios mašininio mokymosi mechanikos.
- Akivaizdžiausia ir gąsdinanti problema yra žmonių įvairovė. Yra daug priežasčių, kodėl duomenys apie žmones gali prarasti objektyvumą net rinkimo etape. Tačiau nemanykite, kad ši problema liečia tik žmones: lygiai tokie patys sunkumai kyla bandant aptikti potvynį sandėlyje ar sugedusią dujų turbiną. Kai kurios sistemos gali būti nukreiptos į odos spalvą, kitos – į Siemens jutiklius.
- Tokios problemos nėra naujos mašininio mokymosi srityje ir toli gražu nėra unikalios. Bet kokioje sudėtingoje struktūroje daromos klaidingos prielaidos, o suprasti, kodėl buvo priimtas konkretus sprendimas, visada sunku. Turime su tuo kovoti visapusiškai: sukurti patikrinimo įrankius ir procesus – ir šviesti vartotojus, kad jie aklai nesilaikytų dirbtinio intelekto rekomendacijų. Mašininis mokymasis kai kuriuos dalykus atlieka daug geriau nei mes, bet, pavyzdžiui, šunys daug veiksmingiau aptinka narkotikus nei žmonės, o tai nėra priežastis naudoti juos kaip liudytojus ir priimti sprendimus remiantis jų parodymais. Ir šunys, beje, yra daug protingesni už bet kokią mašininio mokymosi sistemą.
Mašininis mokymasis šiandien yra viena iš svarbiausių pagrindinių technologijų tendencijų. Tai vienas iš pagrindinių būdų, kaip per ateinantį dešimtmetį technologijos pakeis mus supantį pasaulį. Kai kurie šių pokyčių aspektai kelia susirūpinimą. Pavyzdžiui, galimas mašininio mokymosi poveikis darbo rinkai arba jo panaudojimas neetiškiems tikslams (pavyzdžiui, autoritarinių režimų). Yra dar viena problema, kurią sprendžia šis įrašas: dirbtinio intelekto šališkumas.
Tai nelengva istorija.
„Google“ AI gali rasti kačių. Šios 2012-ųjų naujienos tuomet buvo kažkas ypatingo.
Kas yra „AI šališkumas“?
„Neapdoroti duomenys“ yra ir oksimoronas, ir bloga idėja; duomenys turi būti paruošti gerai ir kruopščiai. – Džofris Bokeris
Kažkur iki 2013 m., norint sukurti sistemą, kuri, tarkime, atpažįsta kates nuotraukose, reikėjo aprašyti logiškus žingsnius. Kaip vaizde rasti kampus, atpažinti akis, analizuoti kailio tekstūras, skaičiuoti letenas ir pan. Tada sujunkite visus komponentus ir sužinokite, kad tai tikrai neveikia. Panašiai kaip mechaninis arklys – teoriškai jį galima pagaminti, bet praktiškai tai per sudėtinga apibūdinti. Galutinis rezultatas – šimtai (ar net tūkstančiai) ranka parašytų taisyklių. Ir ne vienas veikiantis modelis.
Atsiradus mašininiam mokymuisi, mes nustojome naudoti „rankines“ taisykles tam tikram objektui atpažinti. Vietoj to paimame tūkstantį „šio“, X, tūkstantį „kitų“ Y pavyzdžių ir leidžiame kompiuteriui sukurti modelį, pagrįstą jų statistine analize. Tada šiam modeliui pateikiame kai kuriuos pavyzdinius duomenis ir jis tam tikru tikslumu nustato, ar jis tinka vienam iš rinkinių. Mašininis mokymasis sukuria modelį iš duomenų, o ne iš juos rašančio žmogaus. Rezultatai įspūdingi, ypač vaizdų ir modelių atpažinimo srityje, todėl visa technologijų pramonė dabar pereina prie mašininio mokymosi (ML).
Bet tai nėra taip paprasta. Realiame pasaulyje tūkstančiuose X arba Y pavyzdžių taip pat yra A, B, J, L, O, R ir net L. Jie gali būti netolygiai paskirstyti, o kai kurie gali atsirasti taip dažnai, kad sistema mokės daugiau. dėmesį į juos, o ne į jus dominančius objektus.
Ką tai reiškia praktiškai? Mano mėgstamiausias pavyzdys yra vaizdo atpažinimo sistemos . Aišku kodėl: dauguma pavyzdinių „avių“ nuotraukų darytos pievose, kur jos gyvena, ir šiuose vaizduose žolė užima daug daugiau vietos nei maži balti pūkai, o žolę sistema laiko svarbiausia. .
Yra ir rimtesnių pavyzdžių. Vienas nesenas odos vėžiui aptikti nuotraukose. Paaiškėjo, kad dermatologai dažnai fotografuoja liniuotę kartu su odos vėžio apraiškomis, kad užfiksuotų darinių dydį. Pavyzdinėse sveikos odos nuotraukose nėra valdovų. AI sistemai tokios liniuotės (tiksliau, pikseliai, kuriuos apibrėžiame kaip „liniuotę“) tapo vienu iš skirtumų tarp pavyzdžių rinkinių, o kartais ir svarbesniais nei nedidelis bėrimas ant odos. Taigi sistema, sukurta odos vėžiui nustatyti, kartais pripažindavo valdovus.
Svarbiausia yra tai, kad sistema neturi semantinio supratimo apie tai, ką ji žiūri. Mes žiūrime į pikselių rinkinį ir matome juose avį, odą ar liniuotes, tačiau sistema yra tik skaičių eilutė. Ji nemato trimatės erdvės, nemato objektų, faktūrų ar avių. Ji tiesiog mato duomenų šablonus.
Sunku diagnozuoti tokias problemas, nes neuroninis tinklas (modelis, sukurtas jūsų mašininio mokymosi sistemos) susideda iš tūkstančių šimtų tūkstančių mazgų. Nėra lengvo būdo pažvelgti į modelį ir pamatyti, kaip jis priima sprendimą. Toks būdas reikštų, kad procesas yra pakankamai paprastas, kad visas taisykles būtų galima aprašyti rankiniu būdu, nenaudojant mašininio mokymosi. Žmonės nerimauja, kad mašininis mokymasis tapo juodąja dėže. (Šiek tiek vėliau paaiškinsiu, kodėl šio palyginimo vis dar per daug.)
Apskritai tai yra dirbtinio intelekto ar mašininio mokymosi šališkumo problema: duomenų šablonų paieškos sistema gali rasti neteisingus modelius, o jūs galite to nepastebėti. Tai yra pagrindinė technologijos savybė, ir tai akivaizdu visiems, kurie su ja dirba akademinėje bendruomenėje ir didelėse technologijų įmonėse. Tačiau jos pasekmės yra sudėtingos, kaip ir mūsų galimi šių pasekmių sprendimai.
Pirmiausia pakalbėkime apie pasekmes.
AI gali netiesiogiai pasirinkti tam tikrų kategorijų žmonių naudai, remdamasi daugybe nepastebimų signalų
AI šališkumo scenarijai
Akivaizdžiausia ir baisiausia, kad ši problema gali pasireikšti kalbant apie žmonių įvairovę. Neseniai kad „Amazon“ bandė sukurti mašininio mokymosi sistemą, skirtą pirminiam kandidatų į darbą patikrinimui. Kadangi tarp „Amazon“ darbuotojų yra daugiau vyrų, „sėkmingo įdarbinimo“ pavyzdžiai taip pat dažniau būna vyriški, o sistemos siūlomuose gyvenimo aprašymuose buvo daugiau vyrų. „Amazon“ tai pastebėjo ir nepaleido sistemos į gamybą.
Svarbiausias dalykas šiame pavyzdyje yra tai, kad sklando gandai, kad sistema teikia pirmenybę kandidatams vyrams, nepaisant to, kad gyvenimo aprašyme lytis nebuvo nurodyta. Sistema įžvelgė kitus „gerų samdymų“ pavyzdžius: pavyzdžiui, moterys gali naudoti specialius žodžius pasiekimams apibūdinti arba turėti ypatingų pomėgių. Žinoma, sistema nežinojo, kas yra „ledo ritulys“, kas yra „žmonės“, nei kas yra „sėkmė“ – ji tiesiog atliko statistinę teksto analizę. Tačiau jos matytų modelių greičiausiai žmonės nepastebėtų, o kai kurių iš jų (pavyzdžiui, tai, kad skirtingų lyčių žmonės skirtingai apibūdina sėkmę), mums tikriausiai būtų sunku įžvelgti net ir pažvelgus į juos.
Toliau – dar blogiau. Mašininio mokymosi sistema, kuri labai gerai aptinka vėžį ant blyškios odos, gali neveikti taip gerai ant tamsios odos arba atvirkščiai. Nebūtinai dėl šališkumo, o todėl, kad tikriausiai reikia sukurti atskirą modelį, skirtą kitai odos spalvai, pasirenkant skirtingas charakteristikas. Mašininio mokymosi sistemos nepakeičiamos net tokioje siauroje srityje kaip vaizdo atpažinimas. Turite pakoreguoti sistemą, kartais tiesiog per bandymus ir klaidas, kad galėtumėte gerai valdyti jus dominančių duomenų funkcijas, kol pasieksite norimą tikslumą. Bet jūs galite nepastebėti, kad sistema yra tiksli 98% laiko vienoje grupėje ir tik 91% (dar tikslesnė nei žmogaus analizė) su kita.
Iki šiol daugiausia naudoju pavyzdžius, susijusius su žmonėmis ir jų savybėmis. Diskusijoje apie šią problemą daugiausia dėmesio skiriama šiai temai. Tačiau svarbu suprasti, kad šališkumas žmonių atžvilgiu yra tik dalis problemos. Daugeliui dalykų naudosime mašininį mokymąsi, o atrankos klaida bus svarbi visiems. Kita vertus, jei dirbate su žmonėmis, duomenų šališkumas gali būti nesusijęs su jais.
Norėdami tai suprasti, grįžkime prie odos vėžio pavyzdžio ir apsvarstykite tris hipotetines sistemos gedimo galimybes.
- Heterogeninis žmonių pasiskirstymas: nesubalansuotas skirtingų odos atspalvių nuotraukų skaičius, dėl kurio atsiranda klaidingų teigiamų arba klaidingų negatyvų dėl pigmentacijos.
- Duomenyse, kuriais remiantis apmokoma sistema, yra dažnai pasitaikantis ir nevienalyčiai pasiskirstęs bruožas, nesusijęs su žmonėmis ir neturintis diagnostinės vertės: liniuote odos vėžio nuotraukose arba žolė avių nuotraukose. Tokiu atveju rezultatas bus kitoks, jei sistema atvaizde ras pikselių to, ką žmogaus akis identifikuoja kaip „liniuotę“.
- Duomenyse yra trečiosios šalies charakteristika, kurios asmuo nemato net ir ieškodamas.
Ką tai reiškia? A priori žinome, kad duomenys gali skirtingai reprezentuoti skirtingas žmonių grupes, ir bent jau galime planuoti ieškoti tokių išimčių. Kitaip tariant, yra daug socialinių priežasčių manyti, kad duomenys apie žmonių grupes jau turi tam tikrą šališkumą. Jei pažiūrėtume į nuotrauką su liniuote, pamatytume šią liniuotę – anksčiau ją tiesiog ignoravome, žinodami, kad tai nesvarbu, ir pamiršę, kad sistema nieko nežino.
O kas, jei visos jūsų nesveikos odos nuotraukos būtų darytos biure, kaitrinėje šviesoje, o sveika oda – fluorescencinėje šviesoje? Ką daryti, jei baigę fotografuoti sveiką odą, prieš fotografuodami nesveiką odą, atnaujintumėte savo telefono operacinę sistemą, o „Apple“ ar „Google“ šiek tiek pakeistų triukšmo mažinimo algoritmą? Žmogus to negali pastebėti, kad ir kaip ieškotų tokių savybių. Tačiau mašinų naudojimo sistema iškart tai pamatys ir naudos. Ji nieko nežino.
Iki šiol kalbėjome apie netikras koreliacijas, tačiau gali būti, kad duomenys yra tikslūs, o rezultatai teisingi, tačiau nenorite jų naudoti dėl etinių, teisinių ar valdymo priežasčių. Pavyzdžiui, kai kuriose jurisdikcijose moterims neleidžiama gauti nuolaidų draudimui, nors moterys gali būti saugesnės vairuotojos. Nesunkiai įsivaizduojame sistemą, kuri, analizuojant istorinius duomenis, moteriškiems vardams priskirtų mažesnį rizikos veiksnį. Gerai, pašalinkime vardus iš pasirinkimo. Tačiau atsiminkite „Amazon“ pavyzdį: sistema gali nustatyti lytį pagal kitus veiksnius (net net jei ji nežino, kas yra lytis ar net kas yra automobilis), ir jūs to nepastebėsite, kol reguliuotojas atgaline data neanalizuos jūsų taikomų tarifų. pasiūlyti ir apmokestinti jums bus skirta bauda.
Galiausiai, dažnai manoma, kad tokias sistemas naudosime tik projektams, kuriuose dalyvauja žmonės ir socialinė sąveika. Tai yra blogai. Jei gaminate dujų turbinas, tikriausiai norėsite pritaikyti mašininį mokymąsi telemetrijai, kurią perduoda dešimtys ar šimtai jūsų gaminio jutiklių (garso, vaizdo, temperatūros ir bet kokie kiti jutikliai generuoja duomenis, kuriuos galima labai lengvai pritaikyti mašinai sukurti mokymosi modelis). Hipotetiškai galite pasakyti: „Čia yra duomenys iš tūkstančio turbinų, kurios sugedo anksčiau nei sugedo, ir čia yra duomenys iš tūkstančio turbinų, kurios nesugedo. Sukurkite modelį, kuris parodytų, kuo jie skiriasi. Na, dabar įsivaizduokite, kad Siemens davikliai yra sumontuoti 75% blogų turbinų, o tik 12% gerų (susijusio su gedimais nėra). Sistema sukurs modelį, skirtą rasti turbinas su Siemens jutikliais. Oi!
Nuotrauka – Moritz Hardt, UC Berkeley
AI šališkumo valdymas
Ką galime dėl to padaryti? Galite spręsti problemą iš trijų pusių:
- Metodinis griežtumas renkant ir tvarkant duomenis sistemos mokymui.
- Techninės priemonės modelio elgsenai analizuoti ir diagnozuoti.
- Mokykitės, mokykite ir būkite atsargūs, kai gaminiuose įdiegiate mašininį mokymąsi.
Molière'o knygoje „Buržua aukštuomenėje“ yra pokštas: vienam žmogui buvo pasakyta, kad literatūra skirstoma į prozą ir poeziją, ir jis apsidžiaugė sužinojęs, kad visą gyvenimą kalbėjo proza, to nežinodamas. Tikriausiai taip šiandien jaučiasi statistikos specialistai: patys to nesuvokdami savo karjerą paskyrė dirbtiniam intelektui ir atrankos klaidai. Ieškoti atrankos klaidos ir nerimauti dėl jos nėra nauja problema, tereikia sistemingai ieškoti jos sprendimo. Kaip minėta pirmiau, kai kuriais atvejais iš tikrųjų lengviau tai padaryti išnagrinėjus su žmonių duomenimis susijusias problemas. A priori manome, kad galime turėti išankstinių nusistatymų dėl skirtingų žmonių grupių, tačiau mums sunku net įsivaizduoti išankstinį nusistatymą apie Siemens jutiklius.
Žinoma, visa tai nauja yra tai, kad žmonės nebeatlieka statistinės analizės tiesiogiai. Tai atlieka mašinos, sukuriančios didelius, sudėtingus, sunkiai suprantamus modelius. Skaidrumo klausimas yra vienas iš pagrindinių šališkumo problemos aspektų. Bijome, kad sistema yra ne tik šališka, bet ir nėra būdo aptikti jos šališkumą ir kad mašininis mokymasis skiriasi nuo kitų automatizavimo formų, kurias turėtų sudaryti aiškūs loginiai žingsniai, kuriuos galima išbandyti.
Čia yra dvi problemos. Galbūt vis tiek galėsime atlikti tam tikrą mašininio mokymosi sistemų auditą. Ir bet kurios kitos sistemos auditas iš tikrųjų nėra lengvesnis.
Pirma, viena iš šiuolaikinių mašininio mokymosi tyrimų krypčių yra metodų, leidžiančių nustatyti svarbius mašininio mokymosi sistemų funkcionalumus, paieška. Be to, mašininis mokymasis (dabartinė būsena) yra visiškai nauja mokslo sritis, kuri greitai keičiasi, todėl nemanykite, kad dalykai, kurie šiandien neįmanomi, greitai negali tapti visiškai realūs. Projektas – įdomus pavyzdys.
Antra, mintis, kad galite išbandyti ir suprasti esamų sistemų ar organizacijų sprendimų priėmimo procesą, teoriškai yra gera, bet praktiškai tokia gera. Suprasti, kaip priimami sprendimai didelėje organizacijoje, nėra lengva. Net jei yra formalus sprendimų priėmimo procesas, jis neatspindi, kaip žmonės iš tikrųjų bendrauja, o patys dažnai neturi logiško, sistemingo požiūrio į savo sprendimų priėmimą. Kaip sakė kolega , žmonės taip pat yra juodosios dėžės.
Paimkite tūkstantį žmonių į kelias persidengiančias įmones ir įstaigas, ir problema taps dar sudėtingesnė. Žinome po to, kad Space Shuttle buvo lemta suirti grįžus, o NASA asmenys turėjo informacijos, kuri leido manyti, kad gali nutikti kažkas blogo, tačiau sistema apskritai Aš šito nežinojau. NASA net ką tik atliko panašų auditą po to, kai prarado ankstesnį šaudyklą, tačiau dėl labai panašios priežasties prarado kitą. Nesunku teigti, kad organizacijos ir žmonės laikosi aiškių, logiškų taisyklių, kurias galima išbandyti, suprasti ir pakeisti, tačiau patirtis rodo priešingai. tai "".
Mašininį mokymąsi dažnai lyginu su duomenų bazėmis, ypač reliacinėmis – nauja fundamentine technologija, pakeitusia informatikos ir jį supančio pasaulio galimybes, tapusia visa ko dalimi, kurią mes patys to nesuvokdami nuolat naudojame. Duomenų bazėse taip pat yra problemų, jos yra panašaus pobūdžio: sistema gali būti sukurta remiantis blogomis prielaidomis ar blogais duomenimis, tačiau tai bus sunku pastebėti, o žmonės, naudojantys sistemą, darys tai, ką ji jiems liepia, neužduodami klausimų. Yra daug senų juokelių apie mokesčių asmenis, kurie kažkada neteisingai parašė jūsų vardą ir pavardę, ir įtikinti juos ištaisyti klaidą yra daug sunkiau nei iš tikrųjų pakeisti vardą. Yra daug būdų apie tai galvoti, bet neaišku, kuris yra geresnis: kaip techninė SQL problema, ar kaip „Oracle“ leidimo klaida, ar kaip biurokratinių institucijų nesėkmė? Ar sunku rasti proceso klaidą, dėl kurios sistemoje nėra rašybos klaidų taisymo funkcijos? Ar tai galėjo būti išsiaiškinta prieš žmonėms pradedant skųstis?
Šią problemą dar paprasčiau iliustruoja istorijos, kai vairuotojai įvažiuoja į upes dėl pasenusių navigatoriaus duomenų. Gerai, žemėlapius reikia nuolat atnaujinti. Tačiau kiek TomTom kaltas dėl to, kad jūsų automobilis išsprogdintas į jūrą?
Priežastis, kodėl taip sakau, yra ta, kad taip, mašininio mokymosi šališkumas sukels problemų. Tačiau šios problemos bus panašios į tas, su kuriomis susidūrėme praeityje, ir jas galima pastebėti ir išspręsti (arba ne) taip gerai, kaip galėjome anksčiau. Todėl scenarijus, kai dirbtinio intelekto šališkumas daro žalą, greičiausiai nepasitaikys vyresniems mokslininkams, dirbantiems didelėje organizacijoje. Greičiausiai koks nors nereikšmingas technologijų rangovas ar programinės įrangos pardavėjas ką nors parašys ant kelių, naudodamas atvirojo kodo komponentus, bibliotekas ir įrankius, kurių nesupranta. O nelaimingas klientas nusipirks produkto aprašyme esančią frazę „dirbtinis intelektas“ ir, neužduodamas jokių klausimų, išplatins ją savo mažai apmokamiems darbuotojams, liepdamas daryti tai, ką sako AI. Būtent taip atsitiko su duomenų bazėmis. Tai nėra dirbtinio intelekto ar net programinės įrangos problema. Tai yra žmogiškasis faktorius.
išvada
Mašininis mokymasis gali padaryti viską, ko galite išmokyti šunį, tačiau niekada negalite būti tikri, ko tiksliai išmokėte šunį.
Dažnai jaučiu, kad terminas „dirbtinis intelektas“ tik trukdo tokiems pokalbiams. Šis terminas sukuria klaidingą įspūdį, kad mes jį iš tikrųjų sukūrėme – tai intelektas. Kad esame pakeliui į HAL9000 arba „Skynet“ – tai iš tikrųjų supranta. Bet ne. Tai tik mašinos, ir daug tiksliau jas lyginti su, tarkime, skalbimo mašina. Ji skalbiasi daug geriau nei žmogus, bet jei į ją įdėsite indus, o ne skalbinius, ji... juos išplaus. Indai net taps švarūs. Bet tai nebus tai, ko tikėjotės, ir taip neatsitiks, nes sistema turi išankstinių nusistatymų patiekalų atžvilgiu. Skalbimo mašina nežino, kas yra indai ir kas yra drabužiai – tai tik automatizavimo pavyzdys, konceptualiai nesiskiriantis nuo to, kaip procesai buvo automatizuoti anksčiau.
Nesvarbu, ar kalbame apie automobilius, lėktuvus ar duomenų bazes, šios sistemos bus ir labai galingos, ir labai ribotos. Jie visiškai priklausys nuo to, kaip žmonės naudoja šias sistemas, ar jų ketinimai geri, ar blogi, ir nuo to, kiek jie supranta, kaip jos veikia.
Todėl sakyti, kad „dirbtinis intelektas yra matematika, todėl jis negali turėti šališkumo“ yra visiškai klaidingas. Tačiau taip pat klaidinga teigti, kad mašininis mokymasis yra „subjektyvus“. Mašininis mokymasis randa duomenų šablonus, o kokius modelius jis randa, priklauso nuo duomenų, o duomenys priklauso nuo mūsų. Kaip ir tai, ką mes darome su jais. Mašininis mokymasis kai kuriuos dalykus atlieka daug geriau nei mes, bet, pavyzdžiui, šunys daug veiksmingiau aptinka narkotikus nei žmonės, o tai nėra priežastis naudoti juos kaip liudytojus ir priimti sprendimus remiantis jų parodymais. Ir šunys, beje, yra daug protingesni už bet kokią mašininio mokymosi sistemą.
Vertimas: .
Redagavimas: .
Bendruomenė: .
Šaltinis: www.habr.com