TL, dr:
- Koneoppiminen etsii datasta malleja. Mutta tekoäly voi olla "puolueista" eli löytää malleja, jotka ovat vääriä. Esimerkiksi valokuvapohjainen ihosyövän havaitsemisjärjestelmä saattaa kiinnittää erityistä huomiota lääkärin vastaanotolla otettuihin kuviin. Koneoppiminen ei onnistu ymmärtää: sen algoritmit tunnistavat vain kuvioita numeroina, ja jos tiedot eivät ole edustavia, niin myös sen käsittelyn tulos. Ja tällaisten vikojen havaitseminen voi olla vaikeaa koneoppimisen mekaniikan takia.
- Ilmeisin ja pelottavin ongelma-alue on ihmisten monimuotoisuus. On monia syitä, miksi ihmisiä koskevat tiedot voivat menettää objektiivisuuden jo keräysvaiheessa. Mutta älä ajattele, että tämä ongelma koskee vain ihmisiä: täsmälleen samat vaikeudet syntyvät, kun yritetään havaita tulva varastossa tai viallinen kaasuturbiini. Jotkut järjestelmät voivat olla vinoutuneet ihonväriin, toiset taas Siemensin antureita kohtaan.
- Tällaiset ongelmat eivät ole uusia koneoppimisessa, eivätkä ne ole läheskään ainutlaatuisia. Vääriä oletuksia tehdään missä tahansa monimutkaisessa rakenteessa, ja sen ymmärtäminen, miksi tietty päätös tehtiin, on aina vaikeaa. Meidän on taisteltava tätä vastaan kokonaisvaltaisesti: luotava työkaluja ja prosesseja todentamista varten – ja koulutettava käyttäjiä, jotta he eivät sokeasti noudata tekoälyn suosituksia. Koneoppiminen tekee jotkin asiat paljon paremmin kuin me - mutta esimerkiksi koirat ovat paljon tehokkaampia kuin ihmiset huumeiden havaitsemisessa, mikä ei ole syy käyttää heitä todistajina ja arvioida heidän todistustensa perusteella. Ja muuten koirat ovat paljon älykkäämpiä kuin mikään koneoppimisjärjestelmä.
Koneoppiminen on yksi tärkeimmistä perusteknologian trendeistä nykyään. Tämä on yksi tärkeimmistä tavoista, joilla teknologia muuttaa ympäröivää maailmaa seuraavan vuosikymmenen aikana. Jotkut näistä muutoksista ovat huolestuttavia. Esimerkiksi koneoppimisen mahdollinen vaikutus työmarkkinoille tai sen käyttö epäeettisiin tarkoituksiin (esimerkiksi autoritaaristen hallintojen toimesta). Tässä viestissä on toinen ongelma: tekoälyn harha.
Tämä ei ole helppo tarina.
Googlen tekoäly löytää kissoja. Tämä uutinen vuodelta 2012 oli silloin jotain erityistä.
Mikä on "AI Bias"?
"Raakadata" on sekä oksymoroni että huono idea; tiedot on valmisteltava hyvin ja huolellisesti. -Geoffrey Bocker
Jossain ennen vuotta 2013, jotta voitaisiin tehdä järjestelmä, joka esimerkiksi tunnistaa kissat valokuvista, piti kuvata loogisia vaiheita. Kuinka löytää kuvan kulmat, tunnistaa silmät, analysoida turkisten tekstuureja, laskea tassuja ja niin edelleen. Yhdistä sitten kaikki komponentit ja huomaa, että se ei todellakaan toimi. Aivan kuten mekaaninen hevonen - teoriassa se voidaan valmistaa, mutta käytännössä se on liian monimutkainen kuvattavaksi. Lopputuloksena on satoja (tai jopa tuhansia) käsin kirjoitettuja sääntöjä. Eikä ainuttakaan toimivaa mallia.
Koneoppimisen myötä lakkasimme käyttämästä "manuaalisia" sääntöjä tietyn kohteen tunnistamiseen. Sen sijaan otamme tuhat näytettä "tästä", X, tuhat näytettä "muuta", Y ja annamme tietokoneen rakentaa mallin heidän tilastollisen analyysinsä perusteella. Sitten annamme tälle mallille näytetietoja ja se määrittää tietyllä tarkkuudella, sopiiko se johonkin joukosta. Koneoppiminen luo mallin tiedoista eikä ihmisen kirjoittamasta. Tulokset ovat vaikuttavia erityisesti kuvan- ja kuviontunnistuksen saralla, ja siksi koko teknologiateollisuus on nyt siirtymässä koneoppimiseen (ML).
Mutta se ei ole niin yksinkertaista. Todellisessa maailmassa tuhannet esimerkisi X:stä tai Y:stä sisältävät myös A:n, B:n, J:n, L:n, O:n, R:n ja jopa L:n. Nämä eivät välttämättä ole jakautuneet tasaisesti, ja jotkut saattavat esiintyä niin usein, että järjestelmä maksaa enemmän kiinnitä huomiota niihin kuin sinua kiinnostaviin esineisiin.
Mitä tämä tarkoittaa käytännössä? Suosikkiesimerkkini on kuvantunnistusjärjestelmät . On selvää miksi: suurin osa esimerkkivalokuvista "lampaista" on otettu niityillä, joissa ne elävät, ja näissä kuvissa ruoho vie paljon enemmän tilaa kuin pienet valkoiset pöyhöt, ja juuri ruoho on järjestelmän mielestä tärkein. .
Vakavampiakin esimerkkejä on. Yksi viimeaikainen ihosyövän havaitsemiseen valokuvista. Kävi ilmi, että ihotautilääkärit kuvaavat usein viivainta yhdessä ihosyövän ilmentymien kanssa tallentaakseen muodostumien koon. Terveen ihon esimerkkikuvissa ei ole viivoja. Tekoälyjärjestelmässä tällaisista viivoista (tarkemmin sanottuna pikseleistä, jotka määrittelemme "viivaimen") on tullut yksi esimerkkien välisistä eroista, ja joskus tärkeämpiä kuin pieni ihottuma iholla. Joten ihosyövän tunnistamiseen luotu järjestelmä tunnisti joskus hallitsijat.
Tärkeintä tässä on, että järjestelmällä ei ole semanttista ymmärrystä siitä, mitä se katsoo. Katsomme joukkoa pikseleitä ja näemme niissä lampaan, ihon tai viivoittimet, mutta järjestelmä on vain numeroviiva. Hän ei näe kolmiulotteista tilaa, ei näe esineitä, tekstuureja tai lampaita. Hän näkee tiedoissa vain kuvioita.
Vaikeus tällaisten ongelmien diagnosoinnissa on se, että hermoverkko (koneoppimisjärjestelmäsi luoma malli) koostuu tuhansista sadoista tuhansista solmuista. Ei ole helppoa tapaa tarkastella mallia ja nähdä, kuinka se tekee päätöksen. Sellainen tapa tarkoittaisi, että prosessi on tarpeeksi yksinkertainen kuvaamaan kaikki säännöt manuaalisesti ilman koneoppimista. Ihmiset pelkäävät, että koneoppimisesta on tullut musta laatikko. (Selitän hieman myöhemmin, miksi tämä vertailu on edelleen liikaa.)
Tämä on yleisesti ottaen tekoälyn tai koneoppimisen harhaongelma: järjestelmä, joka etsii datasta malleja, voi löytää vääriä malleja, etkä välttämättä huomaa sitä. Tämä on tekniikan perusominaisuus, ja se on ilmeistä kaikille, jotka työskentelevät sen parissa korkeakouluissa ja suurissa teknologiayrityksissä. Mutta sen seuraukset ovat monimutkaisia, samoin kuin mahdolliset ratkaisumme näihin seurauksiin.
Puhutaanpa ensin seurauksista.
Tekoäly voi meille implisiittisesti tehdä valinnan tiettyjen ihmisryhmien hyväksi suuren määrän huomaamattomien signaalien perusteella.
AI Bias -skenaariot
Ilmeisimmin ja pelottavinta tämä ongelma voi ilmetä ihmisten monimuotoisuuden suhteen. Äskettäin että Amazon yritti rakentaa koneoppimisjärjestelmän työnhakijoiden alustavaa seulontaa varten. Koska Amazon-työntekijöiden joukossa on enemmän miehiä, myös esimerkkejä ”onnistuneesta palkkaamisesta” ovat useammin miehiä, ja järjestelmän ehdottamassa ansioluettelossa oli enemmän miehiä. Amazon huomasi tämän eikä julkaissut järjestelmää tuotantoon.
Tässä esimerkissä tärkeintä on, että järjestelmän huhuttiin suosivan miespuolisia hakijoita, vaikka sukupuolta ei mainittu ansioluettelossa. Järjestelmä näki muita malleja esimerkeissä "hyvistä palkoista": esimerkiksi naiset saattavat käyttää erityisiä sanoja kuvaamaan saavutuksia tai heillä on erityisiä harrastuksia. Järjestelmä ei tietenkään tiennyt mitä "jääkiekko" oli, keitä "ihmiset" olivat tai mikä "menestys" oli - se vain suoritti tekstin tilastollisen analyysin. Mutta hänen näkemänsä kuviot jäävät todennäköisesti ihmisiltä huomaamatta, ja joitain niistä (esimerkiksi se, että eri sukupuolta olevat ihmiset kuvaavat menestystä eri tavalla) meidän olisi todennäköisesti vaikea nähdä, vaikka katsoisimme niitä.
Lisäksi - pahempaa. Koneoppimisjärjestelmä, joka on erittäin hyvä syövän löytämisessä vaalealta iholta, ei välttämättä toimi yhtä hyvin tummalla iholla tai päinvastoin. Ei välttämättä puolueellisuudesta, vaan siitä syystä, että sinun on luultavasti rakennettava erillinen malli eri ihonvärille, valitsemalla eri ominaisuudet. Koneoppimisjärjestelmät eivät ole keskenään vaihdettavissa edes niin kapealla alueella kuin kuvantunnistus. Sinun on säädettävä järjestelmää, joskus vain yrityksen ja erehdyksen avulla, jotta voit hallita sinua kiinnostavien tietojen ominaisuuksia, kunnes saavutat haluamasi tarkkuuden. Mutta mitä et ehkä huomaa, on se, että järjestelmä on tarkka 98 % ajasta yhden ryhmän kanssa ja vain 91 % (jopa tarkempi kuin ihmisen analyysi) toisessa.
Tähän mennessä olen käyttänyt pääasiassa esimerkkejä ihmisistä ja heidän ominaisuuksistaan. Tätä ongelmaa koskeva keskustelu keskittyy pääasiassa tähän aiheeseen. Mutta on tärkeää ymmärtää, että puolueettomuus ihmisiä kohtaan on vain osa ongelmaa. Käytämme koneoppimista moniin asioihin, ja otantavirhe koskee niitä kaikkia. Toisaalta, jos työskentelet ihmisten kanssa, datan harha ei välttämättä liity heihin.
Tämän ymmärtämiseksi palataanpa esimerkkiin ihosyövästä ja tarkastellaan kolmea hypoteettista mahdollisuutta järjestelmävikaan.
- Ihmisten heterogeeninen jakautuminen: epätasapainoinen määrä valokuvia eri ihosävyistä, mikä johtaa vääriin positiivisiin tai vääriin negatiivisiin pigmentaation vuoksi.
- Data, jonka perusteella järjestelmä on koulutettu, sisältää usein esiintyvän ja heterogeenisesti jakautuneen piirteen, joka ei liity ihmisiin ja jolla ei ole diagnostista arvoa: viivain ihosyövän valokuvissa tai ruoho lampaiden valokuvissa. Tässä tapauksessa tulos on erilainen, jos järjestelmä löytää kuvasta pikseleitä jostakin, jonka ihmissilmä tunnistaa "hallitsijaksi".
- Tiedot sisältävät kolmannen osapuolen ominaisuuden, jota henkilö ei voi nähdä, vaikka hän sitä etsii.
Mitä se tarkoittaa? Tiedämme etukäteen, että data voi edustaa eri ihmisryhmiä eri tavalla, ja ainakin voimme suunnitella etsivämme tällaisia poikkeuksia. Toisin sanoen on monia sosiaalisia syitä olettaa, että ihmisryhmiä koskevissa tiedoissa on jo jonkin verran harhaa. Jos katsomme kuvaa viivaimella, näemme tämän viivaimen - yksinkertaisesti jätimme sen huomiotta aiemmin tietäen, ettei sillä ole väliä, ja unohtaen, että järjestelmä ei tiedä mitään.
Mutta entä jos kaikki kuvasi epäterveestä ihosta olisi otettu toimistossa hehkulampun alla ja terve ihosi loisteputkivalossa? Entä jos terveen ihon kuvaamisen jälkeen ennen epäterveen ihon kuvaamista päivittäisit puhelimesi käyttöjärjestelmän ja Apple tai Google muuttaisivat hieman kohinanvaimennusalgoritmia? Ihminen ei voi huomata tätä, vaikka hän etsiikin tällaisia ominaisuuksia. Mutta konekäyttöjärjestelmä näkee ja käyttää tämän välittömästi. Hän ei tiedä mitään.
Toistaiseksi olemme puhuneet vääristä korrelaatioista, mutta voi myös olla, että tiedot ovat tarkkoja ja tulokset ovat oikein, mutta et halua käyttää niitä eettisistä, oikeudellisista tai hallinnollisista syistä. Jotkut lainkäyttöalueet esimerkiksi eivät salli naisten saada alennusta vakuutuksistaan, vaikka naiset saattavat olla turvallisempia kuljettajia. Voimme helposti kuvitella järjestelmän, joka historiallista dataa analysoidessaan antaisi naisten nimille pienemmän riskitekijän. Okei, poistetaan nimiä valinnasta. Mutta muista Amazonin esimerkki: järjestelmä voi määrittää sukupuolen muiden tekijöiden perusteella (vaikka se ei tiedä mikä sukupuoli on, tai edes mikä auto on), etkä huomaa tätä ennen kuin sääntelijä analysoi takautuvasti sinulle tulleet tariffit. tarjota ja veloittaa sinulta sakkoja.
Lopuksi usein oletetaan, että käytämme tällaisia järjestelmiä vain projekteissa, joihin liittyy ihmisiä ja sosiaalista vuorovaikutusta. Tämä on väärin. Jos teet kaasuturbiineja, haluat todennäköisesti soveltaa koneoppimista tuotteesi kymmenien tai satojen antureiden lähettämään telemetriaan (ääni-, video-, lämpötila- ja kaikki muut anturit tuottavat dataa, jota voidaan helposti mukauttaa koneen luomiseksi oppimismalli). Hypoteettisesti voisi sanoa: "Tässä on dataa tuhannesta turbiinista, jotka epäonnistuivat ennen kuin ne epäonnistuivat, ja tässä on tietoja tuhannesta turbiinista, jotka eivät epäonnistuneet. Rakenna malli, joka kertoo, mitä eroa niillä on." Kuvittele nyt, että Siemens-anturit on asennettu 75 prosenttiin huonoista turbiineista ja vain 12 prosenttiin hyvistä turbiineista (vioista ei ole yhteyttä). Järjestelmä rakentaa mallin Siemensin antureilla varustettujen turbiinien löytämiseksi. Oho!
Kuva - Moritz Hardt, UC Berkeley
AI Biasin hallinta
Mitä voimme tehdä asialle? Voit lähestyä asiaa kolmesta näkökulmasta:
- Metodologinen kurinalaisuus tiedon keräämisessä ja hallinnassa järjestelmän koulutusta varten.
- Tekniset työkalut mallien käyttäytymisen analysointiin ja diagnosointiin.
- Kouluta, kouluta ja ole varovainen, kun otat koneoppimisen käyttöön tuotteissa.
Molièren kirjassa "Povaristo aatelissa" on vitsi: yhdelle miehelle kerrottiin, että kirjallisuus jakautuu proosaan ja runouteen, ja hän oli iloinen huomatessaan, että hän oli puhunut proosaa tietämättään koko elämänsä. Näin luultavasti tilastotieteilijät tuntevat nykyään: he ovat tietämättään omistaneet uransa tekoälylle ja otantavirheille. Näytteenottovirheen etsiminen ja siitä murehtiminen ei ole uusi ongelma, meidän on vain lähestyttävä järjestelmällisesti sen ratkaisua. Kuten edellä mainittiin, joissain tapauksissa tämä on itse asiassa helpompi tehdä tutkimalla ihmistietoihin liittyviä ongelmia. Oletamme etukäteen, että meillä voi olla ennakkoluuloja eri ihmisryhmiä kohtaan, mutta meidän on vaikea edes kuvitella ennakkoluuloja Siemensin antureista.
Uutta tässä kaikessa on tietysti se, että ihmiset eivät enää tee tilastoanalyysiä suoraan. Sen suorittavat koneet, jotka luovat suuria, monimutkaisia malleja, joita on vaikea ymmärtää. Avoimuuskysymys on yksi puolueellisuusongelman päänäkökohdista. Pelkäämme, että järjestelmä ei ole vain harhaanjohtava, vaan sen harhaa ei ole mahdollista havaita ja että koneoppiminen eroaa muista automaation muodoista, joiden oletetaan koostuvan selkeistä loogisista vaiheista, jotka voidaan testata.
Tässä on kaksi ongelmaa. Voimme silti pystyä suorittamaan jonkinlaisen koneoppimisjärjestelmien auditoinnin. Eikä minkään muun järjestelmän auditointi ole itse asiassa helpompaa.
Ensinnäkin yksi koneoppimisen nykyajan tutkimuksen suunnasta on menetelmien etsiminen koneoppimisjärjestelmien tärkeiden toiminnallisuuksien tunnistamiseksi. Koneoppiminen (nykyisessä muodossaan) on kuitenkin täysin uusi tieteenala, joka muuttuu nopeasti, joten älä ajattele, että nykyään mahdottomista asioista ei voi pian tulla aivan todellista. Projekti - mielenkiintoinen esimerkki tästä.
Toiseksi ajatus siitä, että voit testata ja ymmärtää olemassa olevien järjestelmien tai organisaatioiden päätöksentekoprosessia, on teoriassa hyvä, mutta käytännössä niin. Ei ole helppoa ymmärtää, kuinka suuressa organisaatiossa päätökset tehdään. Vaikka muodollinen päätöksentekoprosessi olisikin olemassa, se ei heijasta ihmisten todellista vuorovaikutusta, eikä heillä itsellään useinkaan ole loogista, systemaattista lähestymistapaa päätöksentekoon. Kuten kollegani sanoi , ihmiset ovat myös mustia laatikoita.
Ota tuhat ihmistä useisiin päällekkäisiin yrityksiin ja instituutioihin, niin ongelmasta tulee vieläkin monimutkaisempi. Tiedämme sen jälkeen, että avaruussukkulan oli määrä hajota palatessaan, ja NASA:n henkilöillä oli tietoa, joka antoi heille aihetta ajatella, että jotain pahaa voisi tapahtua, mutta järjestelmä yleensä En tiennyt tätä. NASA jopa kävi juuri läpi samanlaisen auditoinnin menetettyään edellisen sukkulansa, ja silti se menetti toisenkin hyvin samanlaisesta syystä. On helppo väittää, että organisaatiot ja ihmiset noudattavat selkeitä, loogisia sääntöjä, joita voidaan testata, ymmärtää ja muuttaa – mutta kokemus todistaa toisin. Tämä "'.
Vertailen usein koneoppimista tietokantoihin, erityisesti relaatioon - uuteen perustavanlaatuiseen teknologiaan, joka on muuttanut tietojenkäsittelytieteen ja sitä ympäröivän maailman kykyjä, josta on tullut osa kaikkea, jota käytämme jatkuvasti tietämättämme. Myös tietokannoissa on ongelmia, ja ne ovat luonteeltaan samanlaisia: järjestelmä voi olla rakennettu huonoille olettamuksille tai huonoille tiedoille, mutta sitä on vaikea havaita, ja järjestelmän käyttäjät tekevät mitä se käskee kysymättä. On olemassa paljon vanhoja vitsejä verotushenkilöistä, jotka kirjoittivat nimesi joskus väärin, ja heidän vakuuttaminen korjaamaan virhe on paljon vaikeampaa kuin nimen vaihtaminen. On monia tapoja ajatella tätä, mutta ei ole selvää, kumpi on parempi: SQL:n teknisenä ongelmana vai Oracle-julkaisun virheenä vai byrokraattisten instituutioiden epäonnistumisena? Kuinka vaikeaa on löytää virhe prosessista, joka on johtanut siihen, että järjestelmässä ei ole kirjoitusvirheiden korjausominaisuutta? Olisiko tämä voitu selvittää ennen kuin ihmiset alkoivat valittaa?
Tätä ongelmaa havainnollistavat vieläkin yksinkertaisemmin tarinoita, kun kuljettajat ajavat jokiin navigaattorin vanhentuneiden tietojen vuoksi. Okei, karttoja pitää päivittää jatkuvasti. Mutta kuinka paljon TomTom on syyllinen siitä, että autosi lennätettiin mereen?
Syy miksi sanon tämän, on se, että kyllä, koneoppimisharha aiheuttaa ongelmia. Mutta nämä ongelmat ovat samanlaisia kuin ne, joita olemme kohdanneet aiemmin, ja ne voidaan havaita ja ratkaista (tai ei) yhtä hyvin kuin pystyimme aiemmin. Siksi skenaario, jossa tekoälyn harha aiheuttaa haittaa, ei todennäköisesti tapahdu suuressa organisaatiossa työskenteleville vanhemmille tutkijoille. Todennäköisesti joku merkityksetön teknologiaurakoitsija tai ohjelmistotoimittaja kirjoittaa jotain polvilleen käyttämällä avoimen lähdekoodin komponentteja, kirjastoja ja työkaluja, joita he eivät ymmärrä. Ja epäonninen asiakas ostaa tuotteen kuvauksessa olevan lauseen "keinoäly" ja jakaa sen kysymättä matalapalkkaisille työntekijöilleen ja käskee heitä tekemään niin kuin tekoäly sanoo. Juuri näin kävi tietokantojen kanssa. Tämä ei ole tekoälyongelma tai edes ohjelmistoongelma. Tämä on inhimillinen tekijä.
Johtopäätös
Koneoppiminen voi tehdä mitä tahansa, mitä voit opettaa koiralle - mutta et voi koskaan olla varma, mitä opetit koiralle.
Minusta tuntuu usein, että termi "keinoäly" vain häiritsee tällaisia keskusteluja. Tämä termi antaa väärän vaikutelman, että me todella loimme sen - tämä älykkyys. Että olemme matkalla kohti HAL9000:ta tai Skynetiä – jotain sellaista ymmärtää. Mutta ei. Nämä ovat vain koneita, ja on paljon tarkempaa verrata niitä vaikkapa pesukoneeseen. Hän pesee pyykkiä paljon paremmin kuin ihminen, mutta jos laitat astiat häneen pyykin sijaan, hän... pesee ne. Astiat jopa tulevat puhtaiksi. Mutta tämä ei ole sitä mitä odotit, eikä näin tapahdu, koska järjestelmällä on ennakkoluuloja ruokien suhteen. Pesukone ei tiedä, mitä astiat tai vaatteet ovat - se on vain esimerkki automaatiosta, käsitteellisesti ei eroa siitä, miten prosessit automatisoitiin aiemmin.
Puhummepa sitten autoista, lentokoneista tai tietokannoista, nämä järjestelmät ovat sekä erittäin tehokkaita että hyvin rajallisia. Ne riippuvat täysin siitä, kuinka ihmiset käyttävät näitä järjestelmiä, ovatko heidän aikeensa hyviä vai huonoja ja kuinka paljon he ymmärtävät niiden toimintaa.
Siksi väite, että "tekoäly on matematiikkaa, joten sillä ei voi olla ennakkoluuloja" on täysin väärin. Mutta yhtä väärin on väittää, että koneoppiminen on "luonteeltaan subjektiivista". Koneoppiminen löytää kuvioita tiedosta, ja se, mitä kaavoja se löytää, riippuu tiedosta, ja data riippuu meistä. Aivan kuten mitä teemme heidän kanssaan. Koneoppiminen tekee jotkin asiat paljon paremmin kuin me - mutta esimerkiksi koirat ovat paljon tehokkaampia kuin ihmiset huumeiden havaitsemisessa, mikä ei ole syy käyttää heitä todistajina ja tehdä tuomioita heidän todistustensa perusteella. Ja muuten koirat ovat paljon älykkäämpiä kuin mikään koneoppimisjärjestelmä.
Käännös: .
Editointi: .
yhteisö: .
Lähde: will.com