tl; dr:
- Strojové učenie hľadá vzory v údajoch. Umelá inteligencia však môže byť „zaujatá“ – to znamená nájsť vzory, ktoré sú nesprávne. Napríklad fotografický systém na detekciu rakoviny kože môže venovať osobitnú pozornosť snímkam zhotoveným v ordinácii lekára. Strojové učenie nemôže pochopiť: jeho algoritmy identifikujú vzory iba v číslach, a ak dáta nie sú reprezentatívne, tak aj výsledok ich spracovania. A zachytávanie takýchto chýb môže byť ťažké kvôli samotnej mechanike strojového učenia.
- Najzrejmejšou a najodstrašujúcejšou problémovou oblasťou je ľudská rozmanitosť. Existuje mnoho dôvodov, prečo môžu údaje o ľuďoch stratiť objektivitu aj vo fáze zberu. Nemyslite si však, že tento problém sa týka iba ľudí: presne tie isté ťažkosti vznikajú pri pokuse odhaliť povodeň v sklade alebo poruchu plynovej turbíny. Niektoré systémy môžu byť zaujaté smerom k farbe pleti, iné budú zaujaté voči senzorom Siemens.
- Takéto problémy nie sú pre strojové učenie nové a zďaleka nie sú preň jedinečné. V akejkoľvek zložitej štruktúre sa vytvárajú nesprávne predpoklady a pochopiť, prečo bolo prijaté konkrétne rozhodnutie, je vždy ťažké. Musíme proti tomu bojovať komplexným spôsobom: vytvárať nástroje a procesy na overovanie – a vzdelávať používateľov, aby sa slepo neriadili odporúčaniami AI. Strojové učenie robí niektoré veci oveľa lepšie ako my – ale napríklad psy sú pri odhaľovaní drog oveľa efektívnejšie ako ľudia, čo nie je dôvod na to, aby sme ich použili ako svedkov a vynášali súdy na základe ich svedectiev. A psi, mimochodom, sú oveľa múdrejší ako akýkoľvek systém strojového učenia.
Strojové učenie je jedným z najdôležitejších základných technologických trendov súčasnosti. Toto je jeden z hlavných spôsobov, ako technológia zmení svet okolo nás v nasledujúcom desaťročí. Niektoré aspekty týchto zmien sú dôvodom na obavy. Napríklad potenciálny vplyv strojového učenia na trh práce alebo jeho využívanie na neetické účely (napríklad autoritárskymi režimami). Tento príspevok rieši ďalší problém: zaujatosť umelej inteligencie.
Toto nie je jednoduchý príbeh.
Umelá inteligencia Google dokáže nájsť mačky. Táto novinka z roku 2012 bola vtedy niečím výnimočná.
Čo je to „AI zaujatosť“?
„Nespracované údaje“ sú oxymoron a zároveň zlý nápad; údaje musia byť pripravené dobre a starostlivo. — Geoffrey Boker
Niekde pred rokom 2013 ste na vytvorenie systému, ktorý povedzme rozpozná mačky na fotografiách, museli opísať logické kroky. Ako nájsť rohy na obrázku, rozpoznať oči, analyzovať textúru srsti, počítať labky atď. Potom zložte všetky komponenty a zistite, že to naozaj nefunguje. Podobne ako mechanický kôň - teoreticky sa dá vyrobiť, ale v praxi je príliš zložitý na opis. Konečným výsledkom sú stovky (alebo dokonca tisíce) ručne písaných pravidiel. A ani jeden funkčný model.
S príchodom strojového učenia sme prestali používať „ručné“ pravidlá na rozpoznávanie konkrétneho objektu. Namiesto toho vezmeme tisíc vzoriek „tohto“, X, tisíc vzoriek „iného“, Y a necháme počítač zostaviť model na základe ich štatistickej analýzy. Potom tomuto modelu poskytneme niekoľko vzorových údajov a ten s určitou presnosťou určí, či sa hodí do jednej zo sád. Strojové učenie generuje model z údajov a nie z toho, že ho píše človek. Výsledky sú pôsobivé, najmä v oblasti rozpoznávania obrázkov a vzorov, a preto teraz celý technologický priemysel prechádza na strojové učenie (ML).
Ale také jednoduché to nie je. V skutočnom svete vaše tisíce príkladov X alebo Y obsahujú aj A, B, J, L, O, R a dokonca aj L. Tie nemusia byť rovnomerne rozdelené a niektoré sa môžu vyskytovať tak často, že systém bude platiť viac venujte pozornosť nim než predmetom, ktoré vás zaujímajú.
Čo to v praxi znamená? Môj obľúbený príklad je systém rozpoznávania obrazu . Je jasné prečo: väčšina vzorových fotografií „ovečiek“ je zhotovená na lúkach, kde žijú, a na týchto snímkach tráva zaberá oveľa viac miesta ako malé biele chumáčiky a práve trávu systém považuje za najdôležitejšiu. .
Existujú aj vážnejšie príklady. Jeden nedávny na detekciu rakoviny kože na fotografiách. Ukázalo sa, že dermatológovia často fotografujú pravítko spolu s prejavmi rakoviny kože, aby zaznamenali veľkosť útvarov. Na vzorových fotografiách zdravej pokožky nie sú žiadne pravítka. Pre systém AI sa takéto pravítka (presnejšie pixely, ktoré definujeme ako „pravítko“) stali jedným z rozdielov medzi súbormi príkladov a niekedy sú dôležitejšie ako malá vyrážka na koži. Takže systém vytvorený na identifikáciu rakoviny kože niekedy namiesto toho rozpoznal vládcov.
Kľúčovým bodom je, že systém nemá sémantické pochopenie toho, na čo sa pozerá. Pozeráme sa na množinu pixelov a vidíme v nich ovcu, kožu alebo pravítka, no systém je len číselná os. Nevidí trojrozmerný priestor, nevidí predmety, textúry ani ovečky. Jednoducho vidí vzory v údajoch.
Ťažkosti pri diagnostike takýchto problémov spočívajú v tom, že neurónová sieť (model generovaný vaším systémom strojového učenia) pozostáva z tisícok stoviek tisíc uzlov. Neexistuje jednoduchý spôsob, ako sa pozrieť do modelu a zistiť, ako sa rozhoduje. Mať takýto spôsob by znamenalo, že proces je dostatočne jednoduchý na to, aby opísal všetky pravidlá manuálne, bez použitia strojového učenia. Ľudia sa obávajú, že strojové učenie sa stalo čiernou skrinkou. (Trochu neskôr vysvetlím, prečo je toto porovnanie stále príliš veľa.)
Toto je vo všeobecnosti problém zaujatosti umelej inteligencie alebo strojového učenia: systém na vyhľadávanie vzorov v údajoch môže nájsť nesprávne vzorce a vy si to nemusíte všimnúť. Toto je základná charakteristika technológie a je to zrejmé každému, kto s ňou pracuje na akademickej pôde a vo veľkých technologických spoločnostiach. Ale jeho dôsledky sú zložité, rovnako ako naše možné riešenia týchto dôsledkov.
Najprv si povedzme o dôsledkoch.
Umelá inteligencia môže, pre nás implicitne, urobiť voľbu v prospech určitých kategórií ľudí na základe veľkého počtu nepostrehnuteľných signálov.
Scenáre skreslenia AI
Najočividnejšie a najstrašnejšie sa tento problém môže prejaviť, keď ide o ľudskú rozmanitosť. Nedávno že sa Amazon pokúsil vybudovať systém strojového učenia na počiatočný skríning uchádzačov o zamestnanie. Keďže medzi pracovníkmi Amazonu je viac mužov, príklady „úspešného náboru“ sú tiež častejšie muži a vo výbere životopisov navrhnutých systémom bolo viac mužov. Amazon si to všimol a systém neuvoľnil do výroby.
Najdôležitejšou vecou v tomto príklade je, že sa hovorilo, že systém uprednostňuje mužských uchádzačov, napriek tomu, že v životopise nebolo uvedené pohlavie. Systém videl iné vzory v príkladoch „dobrých zamestnancov“: napríklad ženy mohli používať špeciálne slová na opis úspechov alebo mať špeciálne záľuby. Systém samozrejme nevedel, čo je „hokej“, ani kto sú „ľudia“, ani čo je „úspech“ – jednoducho vykonal štatistickú analýzu textu. Ale vzory, ktoré videla, by si ľudia s najväčšou pravdepodobnosťou nevšimli a niektoré z nich (napríklad to, že ľudia rôzneho pohlavia popisujú úspech odlišne) by sme zrejme ťažko videli, aj keby sme sa na ne pozreli.
Ďalej - horšie. Systém strojového učenia, ktorý je veľmi dobrý pri hľadaní rakoviny na bledej pokožke, nemusí fungovať tak dobre na tmavej pokožke alebo naopak. Nie nevyhnutne kvôli zaujatosti, ale preto, že pravdepodobne budete musieť vytvoriť samostatný model pre inú farbu pleti a vybrať si iné vlastnosti. Systémy strojového učenia nie sú zameniteľné ani v takej úzkej oblasti, akou je rozpoznávanie obrazu. Potrebujete vyladiť systém, niekedy len prostredníctvom pokusov a omylov, aby ste dobre ovládali funkcie v údajoch, ktoré vás zaujímajú, kým nedosiahnete požadovanú presnosť. Čo ste si však možno nevšimli, je, že systém je presný v 98 % prípadov v prípade jednej skupiny a iba na 91 % (dokonca presnejšie ako analýza ľudí) v prípade druhej skupiny.
Doteraz som používal najmä príklady týkajúce sa ľudí a ich vlastností. Diskusia o tomto probléme sa zameriava najmä na túto tému. Je však dôležité pochopiť, že zaujatosť voči ľuďom je len časťou problému. Strojové učenie budeme používať na veľa vecí a chyba vzorkovania bude relevantná pre všetky z nich. Na druhej strane, ak pracujete s ľuďmi, zaujatosť v údajoch s nimi nemusí súvisieť.
Aby sme to pochopili, vráťme sa k príkladu rakoviny kože a zvážme tri hypotetické možnosti zlyhania systému.
- Heterogénne rozmiestnenie ľudí: nevyvážený počet fotografií rôznych odtieňov pleti, čo vedie k falošne pozitívnym alebo falošne negatívnym výsledkom v dôsledku pigmentácie.
- Údaje, na ktorých je systém trénovaný, obsahujú často sa vyskytujúci a heterogénne distribuovaný znak, ktorý nie je spojený s ľuďmi a nemá žiadnu diagnostickú hodnotu: pravítko na fotografiách rakoviny kože alebo trávy na fotografiách oviec. V tomto prípade bude výsledok iný, ak systém nájde pixely na obrázku niečoho, čo ľudské oko identifikuje ako „pravítko“.
- Údaje obsahujú charakteristiku tretej strany, ktorú človek nevidí, aj keď ju hľadá.
Čo to znamená? A priori vieme, že dáta môžu reprezentovať rôzne skupiny ľudí rôzne a minimálne si môžeme naplánovať hľadanie takýchto výnimiek. Inými slovami, existuje veľa sociálnych dôvodov predpokladať, že údaje o skupinách ľudí už obsahujú určitú zaujatosť. Ak sa pozrieme na fotografiu s pravítkom, uvidíme toto pravítko – predtým sme ho jednoducho ignorovali, vediac, že na tom nezáleží a zabudli sme, že systém nič nevie.
Ale čo keby všetky vaše fotografie nezdravej pokožky boli nasnímané v kancelárii pod žiarovkovým svetlom a vaša zdravá pokožka bola nasnímaná pod žiarivkovým svetlom? Čo keby ste po nasnímaní zdravej pokožky pred nafotením nezdravej pokožky aktualizovali operačný systém v telefóne a Apple alebo Google mierne zmenili algoritmus redukcie šumu? Človek si to nemôže všimnúť, bez ohľadu na to, ako veľmi takéto vlastnosti hľadá. Ale strojový systém to okamžite uvidí a použije. Ona nič nevie.
Doteraz sme hovorili o falošných koreláciách, ale môže to byť aj tak, že údaje sú presné a výsledky sú správne, ale nechcete ich použiť z etických, právnych alebo riadiacich dôvodov. Niektoré jurisdikcie napríklad neumožňujú ženám získať zľavu na poistenie, aj keď ženy môžu byť bezpečnejšími vodičmi. Ľahko si vieme predstaviť systém, ktorý by pri analýze historických údajov priradil ženským menám nižší rizikový faktor. Dobre, odstránime mená z výberu. Pamätajte však na príklad Amazonu: systém dokáže určiť pohlavie na základe iných faktorov (aj keď nevie, aké je pohlavie alebo dokonca ani čo je auto), a nevšimnete si to, kým regulátor spätne nezanalyzuje tarify, ktoré ponúkne a naúčtuje vám pokutu.
Nakoniec sa často predpokladá, že takéto systémy budeme používať iba na projekty, ktoré zahŕňajú ľudí a sociálne interakcie. Toto je nesprávne. Ak vyrábate plynové turbíny, pravdepodobne budete chcieť použiť strojové učenie na telemetriu prenášanú desiatkami alebo stovkami senzorov na vašom produkte (audio, video, teplota a akékoľvek iné senzory generujú dáta, ktoré možno veľmi ľahko prispôsobiť na vytvorenie stroja). model učenia). Hypoteticky by ste mohli povedať: „Tu sú údaje z tisícky turbín, ktoré zlyhali predtým, ako zlyhali, a tu sú údaje z tisícky turbín, ktoré nezlyhali. Zostavte si model, aby ste vedeli, aký je medzi nimi rozdiel.“ No a teraz si predstavte, že snímače Siemens sú nainštalované na 75% zlých turbín a iba 12% dobrých (s poruchami neexistuje žiadna súvislosť). Systém vytvorí model na nájdenie turbín so senzormi Siemens. Ojoj!
Obrázok — Moritz Hardt, UC Berkeley
Správa AI Bias
Čo s tým môžeme urobiť? K problému môžete pristupovať z troch uhlov pohľadu:
- Metodická dôslednosť pri zbere a správe údajov na trénovanie systému.
- Technické nástroje na analýzu a diagnostiku správania modelu.
- Trénujte, vzdelávajte sa a buďte opatrní pri implementácii strojového učenia do produktov.
V Moliérovej knihe „Meštian v šľachte“ je vtip: jednému mužovi bolo povedané, že literatúra sa delí na prózu a poéziu, a s potešením zistil, že celý život rozprával prózou, bez toho, aby o tom vedel. Asi takto sa dnes cítia štatistici: bez toho, aby si to uvedomovali, svoju kariéru zasvätili umelej inteligencii a chybe pri vzorkovaní. Hľadanie vzorkovacej chyby a starosti s ňou nie je nový problém, len je potrebné systematicky pristupovať k jeho riešeniu. Ako už bolo spomenuté vyššie, v niektorých prípadoch je v skutočnosti jednoduchšie to urobiť štúdiom problémov súvisiacich s údajmi o ľuďoch. A priori predpokladáme, že môžeme mať predsudky týkajúce sa rôznych skupín ľudí, ale je pre nás ťažké čo i len si predstaviť predsudky o senzoroch Siemens.
Čo je na tom všetkom nové, samozrejme, je, že ľudia už nerobia priamo štatistické analýzy. Vykonávajú ho stroje, ktoré vytvárajú veľké, zložité modely, ktoré je ťažké pochopiť. Otázka transparentnosti je jedným z hlavných aspektov problému zaujatosti. Obávame sa, že systém nie je len zaujatý, ale že neexistuje spôsob, ako jeho zaujatosť odhaliť, a že strojové učenie sa líši od iných foriem automatizácie, ktoré majú pozostávať z jasných logických krokov, ktoré možno testovať.
Sú tu dva problémy. Stále môžeme byť schopní vykonať nejaký druh auditu systémov strojového učenia. A audit akéhokoľvek iného systému v skutočnosti nie je o nič jednoduchší.
Po prvé, jedným zo smerov moderného výskumu v oblasti strojového učenia je hľadanie metód na identifikáciu dôležitých funkcií systémov strojového učenia. To znamená, že strojové učenie (v súčasnom stave) je úplne nová oblasť vedy, ktorá sa rýchlo mení, takže si nemyslite, že veci, ktoré sú dnes nemožné, sa čoskoro nemôžu stať celkom skutočnými. Projekt - zaujímavý príklad toho.
Po druhé, myšlienka, že môžete otestovať a pochopiť rozhodovací proces existujúcich systémov alebo organizácií, je dobrá v teórii, ale taká v praxi. Pochopiť, ako sa vo veľkej organizácii prijímajú rozhodnutia, nie je jednoduché. Aj keď existuje formálny proces rozhodovania, neodráža to, ako ľudia skutočne interagujú, a oni sami často nemajú logický, systematický prístup k rozhodovaniu. Ako povedal môj kolega , ľudia sú tiež čierne skrinky.
Vezmite tisíc ľudí v niekoľkých prekrývajúcich sa spoločnostiach a inštitúciách a problém sa ešte viac skomplikuje. Vieme po tom, že raketoplán bol predurčený k rozpadu pri návrate a jednotlivci v NASA mali informácie, ktoré im dali dôvod myslieť si, že sa môže stať niečo zlé, ale systém všeobecne Toto som nevedel. NASA dokonca práve prešla podobným auditom po strate predchádzajúceho raketoplánu, a predsa prišla o ďalší z veľmi podobného dôvodu. Je ľahké tvrdiť, že organizácie a ľudia sa riadia jasnými, logickými pravidlami, ktoré možno otestovať, pochopiť a zmeniť – ale skúsenosti dokazujú opak. toto "".
Strojové učenie často prirovnávam k databázam, najmä relačným – novej zásadnej technológii, ktorá zmenila možnosti informatiky a okolitého sveta, ktorý sa stal súčasťou všetkého, čo bez toho, aby sme si to uvedomovali, neustále používame. Databázy majú tiež problémy a sú podobného charakteru: systém môže byť postavený na zlých predpokladoch alebo zlých údajoch, ale bude ťažké si to všimnúť a ľudia používajúci systém urobia, čo im povie, bez kladenia otázok. Existuje veľa starých vtipov o daňových ľuďoch, ktorí kedysi zle napísali vaše meno, a presvedčiť ich, aby chybu opravili, je oveľa ťažšie, ako si meno skutočne zmeniť. Existuje mnoho spôsobov, ako o tom premýšľať, ale nie je jasné, čo je lepšie: ako technický problém v SQL, alebo ako chyba vo vydaní Oracle, alebo ako zlyhanie byrokratických inštitúcií? Aké ťažké je nájsť chybu v procese, ktorý viedol k tomu, že systém nemá funkciu opravy preklepov? Dalo sa na to prísť skôr, ako sa ľudia začali sťažovať?
Tento problém ešte jednoduchšie ilustrujú príbehy, keď vodiči jazdia do riek pre neaktuálne údaje v navigátore. Dobre, mapy treba neustále aktualizovať. Ako veľmi však môže TomTom za to, že vaše auto vyhodilo do mora?
Dôvod, prečo to hovorím, je, že áno, zaujatosť strojového učenia spôsobí problémy. Ale tieto problémy budú podobné tým, ktorým sme čelili v minulosti, a možno si ich všimnúť a vyriešiť (alebo nie) tak dobre, ako sme to dokázali v minulosti. Preto je nepravdepodobné, že by došlo k scenáru, v ktorom zaujatosť AI spôsobí škodu starším výskumníkom pracujúcim vo veľkej organizácii. S najväčšou pravdepodobnosťou nejaký bezvýznamný dodávateľ technológií alebo dodávateľ softvéru napíše niečo na kolene, pričom použije open source komponenty, knižnice a nástroje, ktorým nerozumejú. A nešťastný klient si v popise produktu kúpi slovné spojenie „umelá inteligencia“ a bez toho, aby sa ho na niečo spýtal, rozpošle ho svojim nízko plateným zamestnancom a prikáže im, aby urobili to, čo hovorí AI. To je presne to, čo sa stalo s databázami. Toto nie je problém umelej inteligencie, dokonca ani softvérový problém. Toto je ľudský faktor.
Záver
Strojové učenie dokáže všetko, čo môžete psa naučiť – ale nikdy si nemôžete byť istí, čo presne ste psa naučili.
Často mám pocit, že pojem „umelá inteligencia“ prekáža len pri takýchto rozhovoroch. Tento výraz vyvoláva falošný dojem, že sme ho vlastne vytvorili my – túto inteligenciu. Že sme na ceste k HAL9000 alebo Skynetu - niečo, čo v skutočnosti je rozumie. Ale nie. Sú to len stroje a oveľa presnejšie je prirovnať ich povedzme k práčke. Perie oveľa lepšie ako človek, ale ak do nej namiesto bielizne vložíte riad, ona... ho umyje. Riad bude dokonca čistý. Ale to nebude to, čo ste očakávali, a to sa nestane, pretože systém má nejaké predsudky týkajúce sa riadu. Práčka nevie, čo je riad alebo čo je oblečenie - je to len príklad automatizácie, koncepčne sa nelíši od toho, ako sa procesy automatizovali predtým.
Či už hovoríme o autách, lietadlách alebo databázach, tieto systémy budú veľmi výkonné a zároveň veľmi obmedzené. Budú úplne závisieť od toho, ako ľudia používajú tieto systémy, či sú ich zámery dobré alebo zlé a nakoľko rozumejú tomu, ako fungujú.
Preto povedať, že „umelá inteligencia je matematika, takže nemôže mať predsudky“, je úplne nesprávne. Rovnako nesprávne je však tvrdiť, že strojové učenie je „subjektívnej povahy“. Strojové učenie nachádza vzory v údajoch a to, aké vzory nájde, závisí od údajov a údaje závisia od nás. Rovnako ako to, čo s nimi robíme. Strojové učenie robí niektoré veci oveľa lepšie ako my – ale napríklad psy sú pri odhaľovaní drog oveľa efektívnejšie ako ľudia, čo nie je dôvod na to, aby sme ich použili ako svedkov a vynášali súdy na základe ich svedectiev. A psi, mimochodom, sú oveľa múdrejší ako akýkoľvek systém strojového učenia.
Preklad: .
Úprava: .
Komunita: .
Zdroj: hab.com