Tehisintellekti kallutatusest

tl;dr:

• Masinõpe otsib andmetes seaduspärasid. Kuid tehisintellekt võib olla 'eelsoodunud' — see tähendab, et ta võib leida vale mustreid. Näiteks võib nahavähi tuvastamise süsteem fotode põhjal pöörata erilist tähelepanu arstikabinetis tehtud piltidele. Masinõpe ei oska mõista: selle algoritmid tuvastavad vaid seaduspärasid numbrites, ja kui andmed ei ole esinduslikud, on ka tulemused nende töötlemisel sellised. Selliste vigade tabamine võib olla keeruline masinõppe mehhanika enda tõttu.
• Silmatorkiv ja hirmutav probleemipiirkond on inimeste mitmekesisus. On palju põhjuseid, miks inimandmed võivad kaotada objektiivsuse juba kogumise etapis. Kuid ei tasu arvata, et see probleem puudutab ainult inimesi: sama keerukused tekivad ka siis, kui püütakse avastada üleujutust laos või riknenud gaasiturbiini. Üks süsteem võib olla nahavärvi suhtes ettevaatlik, teine suhtuda eelarvamusega Siemens'i sensoritesse.
• Need probleemid ei ole masinõppe jaoks uued ja ei ole iseloomulikud ainult sellele. Vale järeldusi tehakse igasugustes keerulistes struktuurides, ja alati on raske mõista, miks tehti teatud otsus. Selle vastu tuleb võidelda komplekselt: luua tööriistu ja protsesse kontrollimiseks — ning harida kasutajaid, et nad ei järgiks pimedaid tehisintellekti soovitusi. Masinõpe tõepoolest teeb teatud asju palju paremini kui meie – kuid koerad, näiteks, on väga efektiivsed narkootikumide avastamisel, mis ei anna põhjust neid tunnistajatena kaasata ja otsustuste tegemiseks nende ütlusi kasutada. Ja koerad, muide, on palju intelligentsemad kui ükski masinõppe süsteem.

Masinõpe on täna üks tähtsamaid fundamentaalseid tehnoloogilisi trende. See on üks peamisi viise, kuidas tehnoloogia järgmisel kümnendil ümbritsevat maailma muutma hakkab. Mõned aspektid neist muutustest tekitavad muret. Näiteks masinaõppe võimalik mõju tööturule või selle kasutamine ebaeetiliste eesmärkide saavutamiseks (näiteks autoritaarsete režiimide poolt). On veel üks probleem, mis on ka selle postituse teema: tehisintellekti eelarvamused.

See on keeruline lugu.

Google'i tehisintellekt suudab leida kasse. See 2012. aasta uudis oli siis midagi erilist.

Mis on "tehisintellekti kallutatus"?

"Tooresandmed" on samal ajal oksüümoron ja halb idee; andmed tuleb korralikult ja hoolikalt ette valmistada. —Jeffrey Boker

Kuni 2013. aastani pidid te arendama süsteemi, mis näiteks tuvastab kassid piltidel, kirjeldama loogilisi samme. Kuidas leida pildilt nurki, tuvastada silmi, analüüsida tekstuure karva olemasolu osas, lugeda jalgu ja nii edasi. Seejärel tuli kõik komponendid kokku panna — ja avastada, et see ei tööta. Ligikaudu nagu mehaaniline hobune — teoreetiliselt on see võimalik teha, kuid praktikas on see liiga keeruline kirjeldamiseks. Tulemuseks olid sajad (või isegi tuhanded) käsitsi kirjutatud reeglid. Ja mitte ühtegi töötavat mudelit.

Masinõppe tulekuga lõpetasime "käsitsi" reeglite kasutamise objekti tuvastamiseks. Selle asemel võtame tuhat näidist "sellest", X, tuhat näidist "teisest", Y, ja paneme arvuti looma mudeli nende statistilise analüüsi põhjal. Seejärel anname sellele mudelile näidandi andmeid, ja see mingil määral määrab, kas see sobib ühe hulga hulka. Masinõpe genereerib mudeli andmete põhjal, mitte inimese poolt, kes selle kirjutab. Tulemused on muljetavaldavad, eriti pildituvastuse ja mustrite valdkonnas, ja seetõttu liigub kogu tehnoloogia tööstus praegu masinõppe (ML) suunas.

Kuid mitte kõik ei ole nii lihtne. Reaalses maailmas sisaldavad teie tuhanded X või Y näidised ka A, B, J, L, O, R ja isegi L. Need võivad olla ebaühtlaselt jaotatud, ja mõned võivad esineda nii tihti, et süsteem pöörab neile rohkem tähelepanu kui objektidele, mis teid huvitavad.

Mis see praktikas tähendab? Minu lemmiknäide on, kui pildituvastussüsteemid vaatavad rohust künka ja ütlevad: "lamba". On selge, miks: enamik "lamba" näidispiltidest on tehtud niitudel, kus nad elavad, ja nendel piltidel võtab rohi palju rohkem ruumi kui väikesed valged karvapallid, ning just rohtu peavad süsteemid kõige olulisemaks.

On ka tõsisemaid näiteid. Hiljuti — üks projekt nahavade leuke nahahinguks nahahinguks. Selgus, et dermatoloogid on sageli pildistanud joonlaudu koos nahavähi ilmingutega, et fikseerida moodustiste suurus. Terve naha fotodel joonlaid ei ole. Tehisintellekti süsteemi jaoks on sellised joonlauad (täpsemalt, pikslid, mida me määratleme kui „joonlaud”) muutunud üheks erinevuseks näidiste kogumite vahel ja mõnikord isegi olulisemaks kui väike nahalööve. Seetõttu tuvastas nahavähi äratamiseks loodud süsteem mõnikord mitte selle, vaid joonlauad.

Siin on võtmepunkt see, et süsteemil puudub semantiline arusaam sellest, mida ta vaatab. Meie vaatame piksli kogumit ja näeme neis lammast, naha või joonlaudu, kuid süsteem näeb ainult numbrilist rida. Ta ei näe kolmemõõtmelist ruumi, ei näe ei objekte, ei tekstuuri, ei lambaid. Ta näeb lihtsalt mustreid andmetes.

Selliste probleemide diagnoosimise keerukus seisneb selles, et närvivõrk (mudel, mille teie masinõppesüsteem genereeris) koosneb tuhandetest sadadest tuhandetest sõlmedest. Pole lihtsat viisi modelisse sisse piiluda ja näha, kuidas ta otsuse teeb. Sellise viisi olemasolu tähendaks, et protsess on piisavalt lihtne, et kõik reeglid käsitsi kirjeldada, ilma masinõpet kasutamata. Inimesed muretsevad, et masinõpe on muutunud teatud „mustaks karbiks”. (Selgitan hiljem, miks see võrdlus siiski ülepingutatult).

See on, üldiselt öeldes, tehisintellekti või masinõppe eelarvamusprobleem: süsteem, mis on mõeldud andmetes mustrite leidmiseks, võib leida vale mustreid, mida te ei pruugi märgata. See on tehnoloogia fundamentaalne omadus ja see on selge kõigile, kes sellega teadusringkondades ja suurtes tehnoloogiaettevõtetes tegelevad. Kuid selle tagajärjed on keerulised ja meie võimalikud lahendused nende tagajärgede jaoks - samuti.

Rääkige esmalt tagajärgedest.

Tehisintellekt võib alateadlikult teha valikuid teatud inimkategooriate kasuks, tuginedes paljudele märkamatutele signaalidele.

Tehisintellekti eelarvamusstsenaariumid

Kõige silmatorkavam ja hirmutavam on see, et see probleem võib ilmneneda, kui räägitakse inimeste mitmekesisusest. Hiljuti levinud kuulujutt., et Amazon üritas ehitada masinõppesüsteemi, et esmakordselt hinnata tööotsijaid. Kuna Amazonis on rohkem mehi, on ka «õnnestunud värbamise» näidised peamiselt meeste osas ning süsteemi pakutud CV-des oli rohkem mehi. Amazon märkis seda ja ei viinud süsteemi tootmisse.

Selle näite kõige olulisem aspekt on see, et süsteem, kuulujuttude kohaselt, eelistas meessoost kandidaate, vaatamata sellele, et sugu ei olnud CV-des märgitud. Süsteem tuvastas teisi mustreid «õnnestunud värbamise» näidetes: näiteks võivad naised kasutada erilisi sõnu saavutuste kirjeldamiseks või omada spetsiifilisi hobisid. Loomulikult ei teadnud süsteem, mis on «hoki», kes on «inimesed» või mis on «edu» — ta tegi vaid statistilist analüüsi tekstist. Kuid mustrid, mida ta nägi, oleksid tõenäoliselt inimeselt tähelepanuta jäänud, ja mõned neist (näiteks et erineva soo inimesed kirjeldavad edu erinevalt) oleksime me ilmselt isegi nähes raskendatud.

Edasi läheb hullemaks. Masinõppesüsteem, mis tuvastab väga hästi vähki heledermadel, võib tumedate nahkade puhul halvemini töötada või vastupidi. See ei ole tingimata eelarvamuse küsimus, vaid seetõttu, et tõenäoliselt peate ehitama teise nahavärvi jaoks eraldi mudeli, valides teised omadused. Masinõppesüsteemid ei ole omavahel asendatavad isegi nii kitsas valdkonnas nagu pildituvastus. Te peate süsteemi seadistama, mõnikord lihtsalt katse-eksituse meetodil, et hästi tuvastada huvipakkuvates andmetes esinevaid omadusi, kuni saavutate soovitud täpsuse. Kuid te ei pruugi märgata, et süsteem on ühes grupis 98% täpne ja teises vaid 91% (kuigi see on täpsem kui inimanalüüs).

Olen seni kasutanud peamiselt näiteid, mis käsitlevad inimesi ja nende omadusi. Selle teema ümber keskendub peamiselt arutelu. Kuid on oluline mõista, et inimesi puudutav eelarvamuse probleem on vaid osa probleemist. Me kasutame masinõpet paljusid asju jaoks ja valimi viga on nende jaoks asjakohane. Teisest küljest, kui töötate inimestega, võib andmete eelarvamuse tõttu olla seotud mitte nendega.

Ette mõista, naaseme nahavähi näite juurde ja vaatame kolme hüpoteetilist süsteemi rike võimalust.

1. Heterogeenne inimeste jaotumine: tasakaalustamata arv nahatoonide fotosid, mis viib valepositiivsete või valenegatiivsete tulemusteni, mis on seotud pigmenteerimisega.
2. Andmed, mille põhjal süsteem treenitakse, sisaldavad sageli esinevat ja heterogeenselt jaotunud omadust, mis ei ole seotud inimestega ja ei oma diagnostilist väärtust: joonlaud nahavähi ilmingute fotodel või rohi lammaste fotodel. Sellisel juhul erineb tulemus, kui süsteem leiab pildilt pikslid millestki, mida inimsilmal määratletakse kui „joonlaud“.
3. Andmed sisaldavad väliseid omadusi, mida inimene ei saa isegi otsides näha.

Mida see tähendab? Me teame a priori, et andmed võivad erinevatesse inimgruppidesse erinevalt esindada, ja vähemalt saame plaanida sarnaste erandite otsimist. Teisisõnu, on palju sotsiaalseid põhjuseid eeldada, et andmed inimgruppide kohta sisaldavad juba mingit eelarvamust. Kui vaatame joonlauaga pilti, näeme seda joonlauda — me lihtsalt ignoreerisime seda varem, teades, et see ei ole oluline, ja unustades, et süsteemil pole sellest midagi ette teada.

Aga mis siis, kui kõik teie ebatervisliku naha pildid on tehtud kontoris, kus kasutatakse hõõglampe, ja terve naha pildid – fluorestsentsvalgustusel? Mis siis, kui olete, enne kui hakata ebatervislikku nahka pildistama, oma telefoni opsüsteemi uuendanud ja Apple või Google on veidi muutnud müra mahasurumise algoritmi? Inimene ei pruugi seda märgata, olenemata sellest, kui palju ta selliseid omadusi otsib. Kuid masinõppe süsteem näeb seda kohe ja kasutab seda. Tal pole sellest midagi ette teada.

Kuigi me rääkisime vale korrelatsioonidest, võib juhtuda, et andmed on täpsed ja tulemused õiged, kuid te ei soovi neid kasutada eetilistel, õiguslikel või juhtimis põhjustel. Teatud jurisdiktsioonides, näiteks, ei tohi naistele anda kindlustuse soodustusi, hoolimata sellest, et naised võivad olla autojuhtidena turvalisemad. Me võime kergesti ette kujutada süsteemi, mis ajaloolisi andmeid analüüsides määrab naistele madalama riski koefitsiendi. Okei, eemaldame nimed valimist. Kuid meenutagem Amazoni näidet: süsteem võib määrata soo teiste tegurite põhjal (kuigi ta ei tea, mis on sugu, ega mis on auto), ja te ei märka seda, kuni regulaator analüüsib tagantjärele teie pakutud tariife ja määrab teile trahvi.

Lõpuks on sageli oletatud, et me kasutame selliseid süsteeme ainult projektides, mis on seotud inimestega ja sotsiaalsete interaktsioonidega. Nii see ei ole. Kui teete gaasiturbine, soovite kindlasti rakendada masinõpet telemeetriasse, mida edastab kümneid või sadu andureid teie tootest (audio-, video-, temperatuur- ja muud andurid genereerivad andmeid, mida on väga lihtne kohandada masinõppe mudeli loomiseks). Hüpotüütiliselt võiksite öelda: „Siin on andmed tuhandest rikkest väljunud turbinal, mis saadi enne nende riket, ja siin on andmed tuhandelt turbinalt, mis ei purunenud. Looge mudel, et öelda, mis erinevused nende vahel on.“ Noh, nüüd kujutage ette, et Siemens'i andurid asuvad 75% rikkes turbinitel ja ainult 12% heas (seos purunemistega puudub). Süsteem loodi mudeli, et leida turbinaid, kus on Siemens'i andurid. Ups!

Pilt — Moritz Hardt, UC Berkeley

AI eelarvamusjuhtimine

Mida me sellega teha saame? Võib läheneda kolme nurga alt:

1. Metoodiline rangus andmete kogumisel ja haldamisel süsteemi koolitamiseks.
2. Tehnilised tööriistad mudeli käitumise analüüsimiseks ja diagonaalimiseks.
3. Koolitus, haridus ja ettevaatus masinõppe rakendamisel toodetes.

Molière'i teoses "Kodanik aadlikuks" on nali: ühele mehele räägiti, et kirjandus jaguneb proosaks ja luuleks, ja ta avastab imetades, et on terve elu rääkinud proosas, teadmata sellest ise. Tõenäoliselt tunnevad statistikud end tänapäeval just nii: nad on oma karjääri teinud tehisintellekti ja valimi vea probleemide lahendamise nimel. Valimi vea otsimine ja selle pärast muretsemine ei ole uus probleem, peame lihtsalt süsteemselt lähenema selle lahendamisele. Nagu öeldud, on mõnel juhul tõesti lihtsam tegeleda probleemidega, mis on seotud inimeste andmetega. Me eeldame, et meil võivad olla eelarvamused erinevate inimgruppide suhtes, kuid eelarvamust Siemens'i sensorite suhtes on keeruline isegi ette kujutada.

Uus selles kõiges on muidugi see, et inimesed ei tegele enam statistilise analüüsiga otseselt. Selle teevad masinad, mis loovad suuri, keerulisi mudeleid, mida on raske mõista. Läbipaistvuse küsimus on üks peamisi eelarvamuse probleemi aspekte. Meile on hirmus, et süsteem on mitte ainult eelarvamusega, vaid et pole mingit võimalust selle eelarvamust avastada, ja et masinõpe erineb sellega teistest automatiseerimise vormidest, mille korral eeldatakse, et need koosnevad selgetest loogilistest sammudest, mida saab kontrollida.

Siin on kaks probleemi. Me saame võib-olla siiski teostada mingisugust masinõppe süsteemide auditit. Kuid mis tahes muu süsteemi audit ei ole tegelikult sugugi lihtsam.

Esimene suund kaasaegses masinõppe uurimises on meetodite leidmine, kuidas tuvastada masinõppe süsteemide olulist funktsionaalsust. Tuleb märkida, et masinõpe (oma praeguses olekus) on täiesti uus teadusala, mis muutub kiiresti, nii et ei tasu arvata, et täna võimatuks peetavad asjad ei saa varsti täiesti reaalseteks. OpenAI on sellele huvitav näide.

Teiseks, mõte, et saaksime kontrollida ja mõista otsustusprotsessi olemasolevates süsteemides või organisatsioonides, on teoorias hea, kuid praktikas pole see nii lihtne. Suures organisatsioonis on väga keeruline mõista, kuidas tehakse otsuseid. Isegi kui seal on formaalne otsustusprotsess, ei peegelda see tegelikult seda, kuidas inimesed omavahel suhtlevad, ja tihti puudub neil endil loogiline süsteemne lähenemine oma otsuste tegemisel. Nagu ütles minu kolleeg Vijay Panda, inimesed on ka mustad kastid.

Võtke tuhat inimest mitmest omavahel põimunud ettevõttest ja instituudist ning probleem muutub veelgi keerulisemaks. Me teame tagantjärele, et 'Space Shuttle' pidi lagunema maandumisel, ja eraldi isikud NASA-s omasid teavet, mis andis neile põhjust arvata, et võib juhtuda midagi halba, kuid süsteem ütlemata seda ei teadnud. NASA oli eelnevalt läbinud sarnase auditi, kaotades varasema šuttli, ja ometi kaotas nad veel ühe — üsna sarnastel põhjustel. On lihtne väita, et organisatsioonid ja inimesed järgivad selgeid loogilisi reegleid, mida saab kontrollida, mõista ja muuta — kuid kogemus tõendab vastupidist. See on 'Gosplani eksitus».

Ma sageli võrdlen masinõpet andmebaasidega, eriti relatsioonilistega — uue fundamentaalse tehnoloogiaga, mis on muutnud infotehnoloogia ja selle ümber oleva maailma võimalusi, mis on saanud osaks kõigest, mida me pidevalt kasutame, teadmata sellest. Andmebaasidel on ka oma probleeme, mis on sarnase iseloomuga: süsteem võib olla üles ehitatud vale eelduste või halva teabe põhjal, kuid seda on raske märgata ning süsteemi kasutavad inimesed teevad seda, mida see neile ütleb, mitte küsimusi esitamata. On palju vanu nalju maksukontrolööride kohta, kes kirjas panid vale nime, ja veenda neid vea parandamises on palju keerulisem kui tegelikult nime muutmine. Sellele võib mõelda erinevalt, kuid ei ole selge, kuidas paremini: tehnilise probleemina SQL-is, Oracle'i väljaande veana või bürokraatlike institutsioonide rikke tõttu? Kui keeruline on leida viga protsessis, mis on viinud selle teadmise puudumiseni, et süsteemil ei ole sellist funktsiooni nagu trükivigade parandamine? Kas seda oleks saanud mõista enne, kui inimesed hakkasid kaebama?

Seda probleemi on veel lihtsam illustreerida lugudega, kus juhid vananenud andmete tõttu navigaatoris sõidavad justkui jõgedesse. Okei, kaarte tuleks pidevalt uuendada. Kuid kui palju on TomTom süüdi selles, et sinu autot viib merre?

Ma ütlen seda selleks, et jah - masinõppe kallutatus toob probleeme. Kuid need probleemid on sarnased nendega, millega oleme minevikus silmitsi seisnud, ja neid on võimalik märgata ja lahendada (või mitte) umbes sama hästi, kui oleme minevikus suutnud. Seetõttu on ebatõenäoline, et AI kallutatus tekitab kahju juhtivate teadlaste seas suurtes organisatsioonides. Tõenäoliselt kirjutab mõni väheoluline tehnoloogiline alltöövõtja või tarkvaramüüja midagi ajutiselt, kasutades aru saamata avatud koodiga komponente, raamatukogusid ja tööriistu. Ja äpardunud klient usub toote kirjelduse juures väljendisse "tehisintellekt" ning jagab selle omakorda oma madalapalgalistele töötajatele, sundides neid tegema seda, mida AI ütleb. Just seda juhtus andmebaasidega. See ei ole tehisintellekti probleem ega isegi mitte tarkvara probleem. See on inimfaktor.

Kokkuvõte

Masinõpe võib teha kõike, mida sa saad õpetada koerale - kuid sa ei saa kunagi olla kindel, mida sul täpselt õnnestus sellele koerale õpetada.

Mulle tundub sageli, et termin "tehisintellekt" pigem takistab sarnaseid arutelusid. See termin loob vale mulje, nagu oleksime tõeliselt loonud selle — selle intelligentsuse. Et me oleme teel HAL9000 või Skyneti suunas — millegi poole, mis tõeliselt mõistab. Aga ei. Need on lihtsalt masinad, ja neid on palju õigem võrrelda näiteks pesumasinaga. Pesumasin teeb pesu palju paremini kui inimene, kuid kui sa paned sellesse nõud pesu asemel, siis pesumasin… peseb need. Nõud saavad isegi puhtaks. Kuid see ei ole see, mida sa ootasid, ja see juhtub mitte sellepärast, et süsteemil oleks nõude suhtes mingisuguseid eelarvamusi. Pesumasin ei tea, mis on nõud ja mis on riided — see on lihtsalt automatiseerimise näide, mõistetavalt ei erine see sellest, kuidas protsesse varem automatiseeriti.

Millest iganes räägitakse — oli see siis masinad, lennukid või andmebaasid — need süsteemid on samal ajal väga võimsad ja väga piiratud. Need sõltuvad täielikult sellest, kuidas inimesed neid süsteeme kasutavad, olgu nende kavatsused head või halvad, ja kui hästi nad mõistavad nende toimimist.

Seetõttu on vale öelda, et "tehisintellekt on matemaatika, seega ei saa tal olla eelarvamusi." Kuid sama vale on väita, et masinõpe on "loomult subjektiivne". Masinõpe leiab andmetest mustreid, ja milliseid mustreid ta leiab, sõltub andmetest, mis omakorda sõltuvad meist. Nii nagu meiega nende andmetega juhtub. Masinõpe teeb tõepoolest mõned asjad meist palju paremini, — kuid näiteks koerad on palju efektiivsemad narkootikumide avastamises kui inimesed, mis ei õigusta nende kaasamist tunnistajatena ja otsuste tegemist nende ütluste põhjal. Ja koerad, muide, on palju intelligentsemad kui ükski masinõppesüsteem.

Tõlge: Diana Leetskaja.
Toimetamine: Aleksei Ivanov.
Kogukond: @PonchikNews.

Allikas: habr.com