tl; dr:
- A gépi tanulás mintákat keres az adatokban. De a mesterséges intelligencia lehet „elfogult” – vagyis találhat helytelen mintákat. Például egy fotóalapú bőrrák-felderítő rendszer különös figyelmet fordíthat az orvosi rendelőben készült képekre. A gépi tanulás nem lehetséges megérteni: algoritmusai csak számokban azonosítják a mintákat, és ha az adat nem reprezentatív, akkor a feldolgozás eredménye sem. Az ilyen hibák elkapása pedig a gépi tanulás mechanikája miatt nehéz lehet.
- A legnyilvánvalóbb és legfélelmetesebb problémakör az emberi sokszínűség. Számos oka lehet annak, hogy az emberekre vonatkozó adatok még a gyűjtési szakaszban is elveszíthetik objektivitását. De ne gondolja, hogy ez a probléma csak az embereket érinti: pontosan ugyanazok a nehézségek merülnek fel, amikor megpróbálják észlelni az áradást egy raktárban vagy egy meghibásodott gázturbinát. Egyes rendszerek a bőrszínre, mások a Siemens érzékelőire torzulhatnak.
- Az ilyen problémák nem újkeletűek a gépi tanulásban, és messze nem egyediek. Bármilyen összetett struktúrában téves feltételezések születnek, és mindig nehéz megérteni, hogy egy adott döntés miért született. Átfogó módon kell küzdenünk ez ellen: hozzon létre eszközöket és folyamatokat az ellenőrzéshez – és nevelje a felhasználókat, hogy ne kövessenek vakon a mesterséges intelligencia ajánlásait. A gépi tanulás bizonyos dolgokat sokkal jobban teljesít, mint mi – de például a kutyák sokkal hatékonyabbak, mint az emberek a kábítószerek kimutatásában, ami nem ok arra, hogy tanúként használjuk őket, és a vallomásaik alapján ítélkezzünk. És a kutyák egyébként sokkal okosabbak minden gépi tanulási rendszernél.
A gépi tanulás napjaink egyik legfontosabb alapvető technológiai irányzata. Ez az egyik legfontosabb módja annak, hogy a technológia megváltoztatja a körülöttünk lévő világot a következő évtizedben. E változások bizonyos vonatkozásai aggodalomra adnak okot. Például a gépi tanulás lehetséges hatása a munkaerőpiacra, vagy etikátlan célokra történő felhasználása (például tekintélyelvű rendszerek által). Van még egy probléma, amivel ez a bejegyzés foglalkozik: mesterséges intelligencia elfogultság.
Ez nem egy egyszerű történet.
A Google mesterséges intelligencia képes megtalálni a macskákat. Ez a 2012-es hír akkoriban valami különleges volt.
Mi az „AI torzítás”?
A „nyers adatok” egyszerre oximoron és rossz ötlet; az adatokat jól és körültekintően kell elkészíteni. – Geoffrey Boker
Valahol 2013 előtt logikai lépéseket kellett leírni egy olyan rendszer létrehozásához, amely mondjuk felismeri a macskákat a fényképeken. Hogyan lehet sarkokat találni a képen, felismerni a szemeket, elemezni a szőrzet textúráját, megszámolni a mancsokat és így tovább. Ezután rakja össze az összes alkatrészt, és fedezze fel, hogy nem igazán működik. Hasonlóan egy mechanikus lóhoz – elméletileg elkészíthető, de a gyakorlatban túl bonyolult ahhoz, hogy leírjuk. A végeredmény több száz (vagy akár több ezer) kézzel írt szabály. És egyetlen működő modell sem.
A gépi tanulás megjelenésével felhagytunk a „kézi” szabályok használatával egy adott objektum felismerésére. Ehelyett ezer mintát veszünk „erről”, X-ből, ezer mintát „egyéb”-ből, és a számítógép a statisztikai elemzésük alapján modellt készít. Ezután megadunk ennek a modellnek néhány mintaadatot, és bizonyos pontossággal meghatározza, hogy illeszkedik-e valamelyik halmazhoz. A gépi tanulás adatokból generál modellt, nem pedig azt, hogy ember írja meg. Az eredmények lenyűgözőek, különösen a kép- és mintafelismerés területén, ezért az egész technológiai ipar most átáll a gépi tanulásra (ML).
De ez nem ilyen egyszerű. A való világban az X vagy Y ezer példája A-t, B-t, J-t, L-t, O-t, R-t és még L-t is tartalmaz. Előfordulhat, hogy ezek nem egyenletesen oszlanak el, és néhány olyan gyakran előfordulhat, hogy a rendszer többet fizet. figyelni rájuk, mint az Önt érdeklő tárgyakra.
Mit jelent ez a gyakorlatban? Kedvenc példám a képfelismerő rendszerek . Egyértelmű, hogy miért: a legtöbb példafotó a „birkákról” azokon a réteken készült, ahol élnek, és ezeken a képeken a fű sokkal több helyet foglal el, mint a kis fehér pihék, és a rendszer a füvet tartja a legfontosabbnak. .
Vannak komolyabb példák is. Egy nemrégiben bőrrák kimutatására fényképeken. Kiderült, hogy a bőrgyógyászok gyakran lefényképezik a vonalzót a bőrrák megnyilvánulásaival együtt, hogy rögzítsék a képződmények méretét. Az egészséges bőrről készült példafotókon nincsenek uralkodók. Egy mesterséges intelligencia rendszerben az ilyen vonalzók (pontosabban a pixelek, amelyeket „vonalzóként” definiálunk) a példakészletek egyik különbségévé váltak, és néha fontosabbak, mint egy kis bőrkiütés. Így a bőrrák azonosítására létrehozott rendszer néha uralkodókat ismert fel helyette.
A kulcspont itt az, hogy a rendszernek nincs szemantikai megértése arról, amit néz. Megnézünk egy pixelkészletet, és látunk bennük egy bárányt, bőrt vagy vonalzót, de a rendszer csak egy számegyenes. Nem lát háromdimenziós teret, nem lát tárgyakat, textúrákat vagy birkákat. Egyszerűen mintákat lát az adatokban.
Az ilyen problémák diagnosztizálásának nehézsége az, hogy a neurális hálózat (a gépi tanulási rendszer által generált modell) több ezer százezer csomópontból áll. Nincs egyszerű módja annak, hogy megvizsgáljunk egy modellt, és megnézzük, hogyan hoz döntést. Egy ilyen módszer azt jelentené, hogy a folyamat elég egyszerű ahhoz, hogy az összes szabályt manuálisan leírja, gépi tanulás nélkül. Az emberek attól tartanak, hogy a gépi tanulás valami fekete dobozzá vált. (Kicsit később elmagyarázom, miért túl sok ez az összehasonlítás.)
Általánosságban ez a mesterséges intelligencia vagy a gépi tanulás torzításának problémája: az adatokban mintákat kereső rendszer rossz mintákat találhat, és előfordulhat, hogy nem veszi észre. Ez a technológia alapvető jellemzője, és mindenki számára nyilvánvaló, aki ezzel dolgozik a tudományos életben és a nagy technológiai cégeknél. De a következményei összetettek, és a lehetséges megoldásaink is ezekre a következményekre.
Először beszéljünk a következményekről.
A mesterséges intelligencia – számunkra implicit módon – dönthet bizonyos kategóriák javára, nagyszámú észrevehetetlen jel alapján.
AI torzítási forgatókönyvek
A legnyilvánvalóbb és legfélelmetesebb az, hogy ez a probléma az emberi sokféleség kapcsán nyilvánulhat meg. Mostanában hogy az Amazon megpróbált gépi tanulási rendszert építeni az állásra jelentkezők kezdeti átvilágítására. Mivel az Amazon dolgozói között több a férfi, a „sikeres felvételi” példák is gyakrabban szerepelnek a férfiak között, és több férfi volt a rendszer által javasolt önéletrajz-válogatásban. Az Amazon észrevette ezt, és nem bocsátotta gyártásba a rendszert.
Ebben a példában az a legfontosabb, hogy a rendszer a pletykák szerint a férfi jelentkezőket részesíti előnyben, annak ellenére, hogy az önéletrajzban nem szerepelt a nem. A rendszer más mintákat látott a „jó munkaerő” példáiban: például előfordulhat, hogy a nők különleges szavakat használnak teljesítményeik leírására, vagy különleges hobbijaik vannak. Természetesen a rendszer nem tudta, mi az a „hoki”, kik az „emberek”, vagy mi a „siker” – egyszerűen elvégezte a szöveg statisztikai elemzését. Ám az általa látott mintákat az emberek nagy valószínűséggel észrevétlenek lennének, és néhányat (például azt, hogy a különböző nemű emberek eltérően írják le a sikerről) valószínűleg még akkor is nehezen látnánk, ha rájuk néznénk.
Tovább - rosszabb. Előfordulhat, hogy egy gépi tanulási rendszer, amely nagyon jó a rák kimutatására sápadt bőrön, nem teljesít olyan jól sötét bőrön, vagy fordítva. Nem feltétlenül az elfogultság miatt, hanem azért, mert valószínűleg külön modellt kell építeni egy másik bőrszínhez, különböző tulajdonságokat választva. A gépi tanulási rendszerek még olyan szűk területen sem cserélhetők fel, mint a képfelismerés. Módosítania kell a rendszert, néha csak próbálgatással, hogy jól kezelje az Önt érdeklő adatok jellemzőit, amíg el nem éri a kívánt pontosságot. De amit talán nem vesz észre, az az, hogy a rendszer az esetek 98%-ában pontos az egyik csoportnál, és csak 91%-ban (még pontosabb, mint az emberi elemzés) a másiknál.
Eddig elsősorban az emberekre és tulajdonságaikra vonatkozó példákat használtam. A probléma körüli vita főként erre a témára összpontosít. De fontos megérteni, hogy az emberek iránti elfogultság csak egy része a problémának. Sok dologhoz gépi tanulást fogunk használni, és a mintavételi hiba mindegyiknél releváns lesz. Másrészt, ha emberekkel dolgozik, előfordulhat, hogy az adatok torzítása nem kapcsolódik hozzájuk.
Ennek megértéséhez térjünk vissza a bőrrák példájához, és vegyük figyelembe a rendszerhiba három hipotetikus lehetőségét.
- Az emberek heterogén megoszlása: a különböző bőrtónusú fényképek kiegyensúlyozatlan száma, ami a pigmentáció miatt hamis pozitív vagy álnegatív eredményhez vezet.
- Az adatok, amelyekre a rendszert képezik, tartalmaznak egy gyakran előforduló és heterogén eloszlású jellemzőt, amely nem kapcsolódik az emberekhez, és nincs diagnosztikai értéke: vonalzó a bőrrák fényképein vagy fű a birkák fényképein. Ebben az esetben más lesz az eredmény, ha a rendszer pixeleket talál valami képén, amit az emberi szem „uralkodóként” azonosít.
- Az adatok harmadik féltől származó tulajdonságot tartalmaznak, amelyet az ember akkor sem lát, ha keres.
Mit jelent? Már eleve tudjuk, hogy az adatok eltérően reprezentálhatják az emberek különböző csoportjait, és legalább tervezhetjük, hogy keressük az ilyen kivételeket. Más szavakkal, rengeteg társadalmi oka van annak feltételezésére, hogy az embercsoportokra vonatkozó adatok már tartalmaznak némi torzítást. Ha megnézzük a fényképet a vonalzóval, akkor ezt a vonalzót fogjuk látni – korábban egyszerűen figyelmen kívül hagytuk, tudva, hogy nem számít, és elfelejtve, hogy a rendszer nem tud semmit.
De mi van akkor, ha az egészségtelen bőrről készült összes fényképét egy irodában, izzólámpa fényében, az egészséges bőrét pedig fluoreszkáló fényben készítette? Mi lenne, ha az egészséges bőr felvételének befejezése után, mielőtt az egészségtelen bőrt fényképezné, frissítené telefonja operációs rendszerét, és az Apple vagy a Google kissé megváltoztatná a zajcsökkentési algoritmust? Az ember ezt nem tudja észrevenni, bármennyire is keresi az ilyen tulajdonságokat. De a géphasználati rendszer ezt azonnal látni fogja és használni fogja. Nem tud semmit.
Eddig hamis összefüggésekről beszéltünk, de az is lehet, hogy az adatok pontosak és az eredmények helyesek, de etikai, jogi vagy vezetési okokból nem kívánja ezeket felhasználni. Egyes joghatóságok például nem teszik lehetővé a nők számára, hogy kedvezményt kapjanak a biztosításukból, bár a nők biztonságosabb vezetők lehetnek. Könnyen elképzelhetünk olyan rendszert, amely a történeti adatok elemzésekor alacsonyabb kockázati tényezőt rendelne a női nevekhöz. Oké, távolítsuk el a neveket a kijelölésből. De ne feledd az Amazon példáját: a rendszer más tényezők alapján is meg tudja határozni a nemet (annak ellenére, hogy nem tudja, mi a nem, vagy még azt sem, hogy mi az autó), és ezt nem fogod észrevenni, amíg a szabályozó visszamenőleg nem elemzi a tarifákat ajánlatot és díjat számít fel pénzbírságot.
Végül gyakran azt feltételezik, hogy csak embereket és társadalmi interakciókat érintő projektekhez fogunk használni ilyen rendszereket. Ez rossz. Ha gázturbinákat gyárt, valószínűleg a gépi tanulást szeretné alkalmazni a termékén lévő több tíz vagy több érzékelő által sugárzott telemetriára (hang-, video-, hőmérséklet- és bármely más érzékelő olyan adatokat generál, amelyek nagyon könnyen adaptálhatók egy gép létrehozásához tanulási modell). Hipotetikusan azt mondhatjuk: „Itt vannak adatok ezer olyan turbináról, amelyek meghibásodtak, mielőtt meghibásodtak volna, és itt vannak adatok ezer olyan turbináról, amelyek nem mentek tönkre. Építs egy modellt, amely megmutatja, mi a különbség köztük.” Nos, most képzeljük el, hogy a rossz turbinák 75%-ára Siemens érzékelőket szerelnek fel, a jóknak pedig csak 12%-ára (nincs összefüggés a meghibásodásokkal). A rendszer egy modellt épít a Siemens érzékelőkkel ellátott turbinák megtalálására. Hoppá!
Kép – Moritz Hardt, UC Berkeley
AI torzítás kezelése
Mit tehetünk ellene? Három oldalról közelítheti meg a kérdést:
- Módszertani szigor a rendszer betanításához szükséges adatok gyűjtésében és kezelésében.
- Technikai eszközök a modell viselkedésének elemzéséhez és diagnosztizálásához.
- Tanuljon, oktasson, és legyen óvatos, amikor a gépi tanulást implementálja a termékekbe.
Molière „A burzsoák a nemességben” című könyvében van egy vicc: egy embernek azt mondták, hogy az irodalom prózára és költészetre oszlik, és örömmel fedezte fel, hogy egész életében prózában beszélt anélkül, hogy tudta volna. Valószínűleg így érzik ma a statisztikusok: anélkül, hogy észrevennének, a mesterséges intelligenciának és a mintavételi hibának szentelték pályafutásukat. A mintavételi hiba keresése és az emiatti aggódás nem új keletű probléma, csak szisztematikusan kell megközelíteni a megoldását. Ahogy fentebb említettük, bizonyos esetekben ez valóban egyszerűbb az emberek adataival kapcsolatos problémák tanulmányozásával. Előzetesen feltételezzük, hogy lehetnek előítéleteink különböző embercsoportokkal kapcsolatban, de a Siemens érzékelőivel kapcsolatban még csak nehezen tudunk előítéletet elképzelni.
Mindebben persze az az újdonság, hogy az emberek már nem közvetlenül statisztikai elemzést végeznek. Olyan gépek végzik, amelyek nagy, összetett, nehezen érthető modelleket hoznak létre. Az átláthatóság kérdése az elfogultság problémájának egyik fő szempontja. Attól tartunk, hogy a rendszer nem csak elfogult, de nincs mód a torzítás észlelésére, és hogy a gépi tanulás különbözik az automatizálás egyéb formáitól, amelyek állítólag egyértelmű, tesztelhető logikai lépésekből állnak.
Itt két probléma van. Még mindig el tudjuk végezni a gépi tanulási rendszerek valamilyen auditját. És minden más rendszer auditálása valójában nem egyszerűbb.
Először is, a gépi tanulás területén a modern kutatás egyik iránya a gépi tanulási rendszerek fontos funkcióinak azonosítására szolgáló módszerek keresése. Ennek ellenére a gépi tanulás (jelenlegi állapotában) egy teljesen új tudományterület, amely gyorsan változik, ezért ne gondolja, hogy a ma lehetetlen dolgok hamarosan nem válhatnak valósággá. Projekt érdekes példa erre.
Másodszor, az az elképzelés, hogy tesztelheti és megértheti a meglévő rendszerek vagy szervezetek döntéshozatali folyamatát, elméletben jó, de a gyakorlatban igen. Nem könnyű megérteni, hogyan születnek döntések egy nagy szervezetben. Még ha van is formális döntéshozatali folyamat, az nem tükrözi az emberek tényleges interakcióját, és ők maguk gyakran nem rendelkeznek logikus, szisztematikus megközelítéssel döntéseik meghozatalához. Ahogy a kollégám mondta , az emberek is fekete dobozok.
Vegyünk ezer embert több, egymást átfedő cégben, intézményben, és a probléma még összetettebbé válik. Azután tudjuk, hogy az űrrepülőgépnek fel kellett szakadnia a visszatéréskor, és a NASA-n belüli egyéneknek olyan információik voltak, amelyek alapján azt hitték, valami rossz történhet, de a rendszer általában ezt nem tudtam. A NASA még az előző sikló elvesztése után is átesett egy hasonló auditon, de egy nagyon hasonló okból egy másikat is elveszített. Könnyű vitatkozni azzal, hogy a szervezetek és az emberek világos, logikus szabályokat követnek, amelyek tesztelhetők, megérthetők és megváltoztathatók – a tapasztalat azonban ennek ellenkezőjét bizonyítja. ez"".
Gyakran hasonlítom össze a gépi tanulást az adatbázisokkal, különösen a relációs technológiával – egy új, alapvető technológiával, amely megváltoztatta a számítástechnika és a körülötte lévő világ lehetőségeit, és amely mindennek a részévé vált, és amelyet folyamatosan használunk anélkül, hogy észrevennénk. Az adatbázisokkal is vannak problémák, és ezek hasonló jellegűek: lehet, hogy a rendszer rossz feltételezésekre vagy rossz adatokra épül, de ezt nehéz lesz észrevenni, és a rendszert használók kérdés nélkül megteszik, amit mondanak. Sok régi vicc van azokról az adózókról, akik egyszer rosszul írták a nevét, és sokkal nehezebb meggyőzni őket a hiba kijavításáról, mint ténylegesen megváltoztatni a nevét. Sokféleképpen lehet erről gondolkodni, de nem világos, melyik a jobb: az SQL technikai problémájaként, vagy egy Oracle kiadás hibájaként, vagy a bürokratikus intézmények kudarcaként? Mennyire nehéz olyan hibát találni egy folyamatban, amely ahhoz vezetett, hogy a rendszer nem rendelkezik elírás-javító funkcióval? Lehetséges, hogy ezt kitalálták, mielőtt az emberek panaszkodni kezdtek?
Ezt a problémát még egyszerűbben illusztrálják azok a történetek, amikor a járművezetők a navigátor elavult adatai miatt hajtanak bele a folyóba. Oké, a térképeket folyamatosan frissíteni kell. De mennyire okolható a TomTom azért, hogy az autód a tengerbe repült?
Azért mondom ezt, mert igen, a gépi tanulási torzítás problémákat fog okozni. De ezek a problémák hasonlóak lesznek azokhoz, amelyekkel a múltban szembesültünk, és nagyjából olyan jól észrevehetők és megoldhatók (vagy nem), mint a múltban. Ezért egy olyan forgatókönyv, amelyben a mesterséges intelligencia elfogultsága kárt okoz, nem valószínű, hogy megtörténik egy nagy szervezetben dolgozó vezető kutatókkal. Valószínűleg néhány jelentéktelen technológiai vállalkozó vagy szoftvergyártó letérdelve ír valamit, olyan nyílt forráskódú összetevőket, könyvtárakat és eszközöket használva, amelyeket nem ért. A szerencsétlen ügyfél pedig megvásárolja a „mesterséges intelligencia” kifejezést a termékleírásban, és anélkül, hogy kérdéseket tenne fel, kiosztja alacsony fizetésű alkalmazottainak, és megparancsolja nekik, hogy tegyék azt, amit az AI mond. Pontosan ez történt az adatbázisokkal. Ez nem mesterséges intelligencia, de nem is szoftver probléma. Ez az emberi tényező.
Következtetés
A gépi tanulás bármire képes, amit meg lehet tanítani egy kutyának – de sosem lehetsz biztos abban, hogy pontosan mit tanítottál a kutyának.
Gyakran úgy érzem, hogy a „mesterséges intelligencia” kifejezés csak az ilyen beszélgetések útjába áll. Ez a kifejezés azt a hamis benyomást kelti, mintha mi teremtettük – ez az intelligencia. Hogy úton vagyunk a HAL9000 vagy a Skynet felé – valami ilyesmi megérti. De nem. Ezek csak gépek, és sokkal pontosabb összehasonlítani őket mondjuk egy mosógéppel. Sokkal jobban mos, mint egy ember, de ha mosogatás helyett edényeket teszel bele, akkor... el fogja mosni. Az edények még tiszták lesznek. De nem ez lesz az, amire számítottál, és ez nem fog megtörténni, mert a rendszernek vannak előítéletei az ételekkel kapcsolatban. A mosógép nem tudja, mik azok az edények vagy mik a ruhák – ez csak egy példa az automatizálásra, fogalmilag semmiben sem különbözik attól, ahogy a folyamatokat korábban automatizálták.
Legyen szó autókról, repülőgépekről vagy adatbázisokról, ezek a rendszerek nagyon erősek és nagyon korlátozottak lesznek. Ezek teljes mértékben attól függnek, hogy az emberek hogyan használják ezeket a rendszereket, jók-e vagy rosszak a szándékaik, és mennyire értik a működésüket.
Ezért teljesen hamis azt állítani, hogy „a mesterséges intelligencia matematika, tehát nem lehetnek benne torzítások”. De ugyanilyen hamis azt állítani, hogy a gépi tanulás „szubjektív természetű”. A gépi tanulás mintákat talál az adatokban, és hogy milyen mintákat talál, az az adatoktól függ, az adatok pedig tőlünk függenek. Csakúgy, mint amit velük csinálunk. A gépi tanulás bizonyos dolgokat sokkal jobban teljesít, mint mi – de például a kutyák sokkal hatékonyabbak, mint az emberek a kábítószerek kimutatásában, ami nem ok arra, hogy tanúként használjuk őket, és a vallomásaik alapján ítélkezzünk. És a kutyák egyébként sokkal okosabbak minden gépi tanulási rendszernél.
Fordítás: .
Szerkesztés: .
Közösség: .
Forrás: will.com