tl; dr:
- Învățarea automată caută modele în date. Dar inteligența artificială poate fi „părtinitoare” – adică găsiți modele care sunt incorecte. De exemplu, un sistem de detectare a cancerului de piele bazat pe fotografii ar putea acorda o atenție deosebită imaginilor realizate în cabinetul unui medic. Învățarea automată nu poate a înțelege: algoritmii săi identifică doar modele în numere, iar dacă datele nu sunt reprezentative, la fel va fi rezultatul prelucrării lor. Și prinderea unor astfel de erori poate fi dificilă din cauza însuși mecanicii învățării automate.
- Cea mai evidentă și descurajantă zonă cu probleme este diversitatea umană. Există multe motive pentru care datele despre oameni își pot pierde obiectivitatea chiar și în etapa de colectare. Dar să nu credeți că această problemă afectează numai oamenii: exact aceleași dificultăți apar atunci când încercați să detectați o inundație într-un depozit sau o turbină cu gaz eșuată. Unele sisteme pot fi orientate spre culoarea pielii, altele vor fi orientate către senzorii Siemens.
- Astfel de probleme nu sunt noi pentru învățarea automată și sunt departe de a fi unice pentru aceasta. În orice structură complexă se fac ipoteze greșite, iar înțelegerea de ce a fost luată o anumită decizie este întotdeauna dificilă. Trebuie să combatem acest lucru într-un mod cuprinzător: să creăm instrumente și procese pentru verificare - și să educăm utilizatorii astfel încât să nu urmeze orbește recomandările AI. Învățarea automată face unele lucruri mult mai bine decât putem noi - dar câinii, de exemplu, sunt mult mai eficienți decât oamenii în detectarea drogurilor, ceea ce nu este un motiv pentru a le folosi ca martori și a emite judecăți pe baza mărturiei lor. Și câinii, apropo, sunt mult mai inteligenți decât orice sistem de învățare automată.
Învățarea automată este una dintre cele mai importante tendințe tehnologice fundamentale de astăzi. Acesta este unul dintre modurile majore prin care tehnologia va schimba lumea din jurul nostru în următorul deceniu. Unele aspecte ale acestor schimbări sunt motive de îngrijorare. De exemplu, impactul potențial al învățării automate pe piața muncii sau utilizarea acestuia în scopuri neetice (de exemplu, de către regimurile autoritare). Există o altă problemă pe care o abordează această postare: părtinirea inteligenței artificiale.
Aceasta nu este o poveste ușoară.
Inteligența artificială de la Google poate găsi pisici. Această știre din 2012 era ceva special pe atunci.
Ce este „AI Bias”?
„Datele brute” sunt atât un oximoron, cât și o idee proastă; datele trebuie pregătite bine și cu atenție. — Geoffrey Boker
Undeva înainte de 2013, pentru a realiza un sistem care, să zicem, să recunoască pisicile în fotografii, trebuia să descrii pași logici. Cum să găsiți colțurile unei imagini, să recunoașteți ochii, să analizați texturile pentru blană, să numărați labele și așa mai departe. Apoi puneți toate componentele împreună și descoperiți că nu funcționează cu adevărat. La fel ca un cal mecanic - teoretic poate fi făcut, dar în practică este prea complex pentru a fi descris. Rezultatul final sunt sute (sau chiar mii) de reguli scrise de mână. Și nici un singur model de lucru.
Odată cu apariția învățării automate, am încetat să mai folosim reguli „manuale” pentru recunoașterea unui anumit obiect. În schimb, luăm o mie de mostre de „acest”, X, o mie de mostre de „altul”, Y și punem computerul să construiască un model bazat pe analiza lor statistică. Apoi oferim acestui model câteva date eșantion și determină cu o oarecare precizie dacă se potrivește cu unul dintre seturi. Învățarea automată generează un model din date, mai degrabă decât din scrisul unui om. Rezultatele sunt impresionante, mai ales în domeniul recunoașterii imaginilor și modelelor și de aceea întreaga industrie tehnologică trece acum la învățarea automată (ML).
Dar nu este atât de simplu. În lumea reală, miile dvs. de exemple de X sau Y conțin și A, B, J, L, O, R și chiar L. Acestea pot să nu fie distribuite uniform și unele pot apărea atât de frecvent încât sistemul va plăti mai mult. atenție la ele decât la obiectele care te interesează.
Ce înseamnă asta în practică? Exemplul meu preferat este atunci când sistemele de recunoaștere a imaginilor . Este clar de ce: majoritatea fotografiilor de exemplu cu „oi” sunt făcute în pajiștile în care trăiesc, iar în aceste imagini iarba ocupă mult mai mult spațiu decât pufurile albe mici și este iarba pe care sistemul o consideră cea mai importantă. .
Sunt exemple mai serioase. Unul recent pentru detectarea cancerului de piele în fotografii. S-a dovedit că dermatologii fotografiază adesea rigla împreună cu manifestările cancerului de piele pentru a înregistra dimensiunea formațiunilor. Nu există rigle în fotografiile exemplu de piele sănătoasă. Pentru un sistem AI, astfel de rigle (mai precis, pixelii pe care îi definim drept „riglă”) au devenit una dintre diferențele dintre seturi de exemple și uneori mai importante decât o mică erupție pe piele. Deci, un sistem creat pentru a identifica cancerul de piele a recunoscut uneori conducători.
Punctul cheie aici este că sistemul nu are o înțelegere semantică a ceea ce privește. Ne uităm la un set de pixeli și vedem în ei o oaie, piele sau rigle, dar sistemul este doar o linie numerică. Ea nu vede spațiul tridimensional, nu vede obiecte, texturi sau oi. Ea vede pur și simplu modele în date.
Dificultatea de a diagnostica astfel de probleme este că rețeaua neuronală (modelul generat de sistemul dvs. de învățare automată) constă din mii de sute de mii de noduri. Nu există o modalitate ușoară de a analiza un model și de a vedea cum ia o decizie. A avea o astfel de modalitate ar însemna că procesul este suficient de simplu pentru a descrie toate regulile manual, fără a utiliza învățarea automată. Oamenii își fac griji că învățarea automată a devenit o cutie neagră. (Voi explica puțin mai târziu de ce această comparație este încă prea mult.)
Aceasta, în termeni generali, este problema părtinirii inteligenței artificiale sau a învățării automate: un sistem pentru găsirea de modele în date poate găsi modele greșite și este posibil să nu le observi. Aceasta este o caracteristică fundamentală a tehnologiei și este evidentă pentru toți cei care lucrează cu ea în mediul academic și la marile companii de tehnologie. Dar consecințele sale sunt complexe, la fel și posibilele noastre soluții la aceste consecințe.
Să vorbim mai întâi despre consecințe.
AI poate, implicit pentru noi, să facă o alegere în favoarea anumitor categorii de oameni, pe baza unui număr mare de semnale imperceptibile
Scenarii AI Bias
Cel mai evident și înfricoșător, această problemă se poate manifesta atunci când vine vorba de diversitatea umană. Recent că Amazon a încercat să creeze un sistem de învățare automată pentru screening-ul inițial al candidaților la locuri de muncă. Întrucât există mai mulți bărbați printre lucrătorii Amazon, exemplele de „angajare de succes” sunt, de asemenea, mai des bărbați și au existat mai mulți bărbați în selecția CV-urilor sugerate de sistem. Amazon a observat acest lucru și nu a lansat sistemul în producție.
Cel mai important lucru din acest exemplu este că s-a zvonit că sistemul favorizează solicitanții bărbați, în ciuda faptului că genul nu a fost specificat în CV. Sistemul a văzut alte modele în exemple de „angajări bune”: de exemplu, femeile ar putea folosi cuvinte speciale pentru a descrie realizările sau au hobby-uri speciale. Desigur, sistemul nu știa ce este „hochei” sau cine sunt „oameni” sau ce este „succesul” - a efectuat pur și simplu o analiză statistică a textului. Dar tiparele pe care le-a văzut ar trece cel mai probabil neobservate de oameni, iar unele dintre ele (de exemplu, faptul că oamenii de diferite genuri descriu succesul în mod diferit) probabil că ne-ar fi greu să le vedem chiar dacă ne-am uita la ele.
Mai departe - mai rău. Un sistem de învățare automată care este foarte bun în găsirea cancerului pe pielea palidă poate să nu funcționeze la fel de bine pe pielea închisă la culoare sau invers. Nu neapărat din cauza părtinirii, ci pentru că probabil că trebuie să construiți un model separat pentru o culoare diferită a pielii, alegând caracteristici diferite. Sistemele de învățare automată nu sunt interschimbabile chiar și într-o zonă atât de îngustă precum recunoașterea imaginilor. Trebuie să modificați sistemul, uneori doar prin încercări și erori, pentru a înțelege bine caracteristicile datelor de care sunteți interesat până când obțineți acuratețea dorită. Dar ceea ce este posibil să nu observați este că sistemul este precis 98% din timp cu un grup și doar 91% (chiar mai precis decât analiza umană) cu celălalt.
Până acum am folosit în principal exemple referitoare la oameni și la caracteristicile acestora. Discuția în jurul acestei probleme se concentrează în principal pe acest subiect. Dar este important să înțelegem că părtinirea față de oameni este doar o parte a problemei. Vom folosi învățarea automată pentru o mulțime de lucruri, iar eroarea de eșantionare va fi relevantă pentru toate. Pe de altă parte, dacă lucrați cu oameni, este posibil ca părtinirea datelor să nu aibă legătură cu aceștia.
Pentru a înțelege acest lucru, să revenim la exemplul cancerului de piele și să luăm în considerare trei posibilități ipotetice de defecțiune a sistemului.
- Distribuția eterogenă a oamenilor: un număr dezechilibrat de fotografii de diferite nuanțe de piele, care duce la fals pozitive sau fals negative din cauza pigmentării.
- Datele pe care este antrenat sistemul conțin o caracteristică frecventă și distribuită eterogen, care nu este asociată cu oamenii și nu are valoare diagnostică: o riglă în fotografiile cu cancer de piele sau iarba în fotografiile oilor. În acest caz, rezultatul va fi diferit dacă sistemul găsește pixeli în imaginea a ceva pe care ochiul uman îl identifică drept „riglă”.
- Datele conțin o caracteristică terță parte pe care o persoană nu o poate vedea chiar dacă o caută.
Ce înseamnă? Știm a priori că datele pot reprezenta diferite grupuri de oameni în mod diferit și, cel puțin, putem planifica să căutăm astfel de excepții. Cu alte cuvinte, există o mulțime de motive sociale pentru a presupune că datele despre grupuri de oameni conțin deja o anumită părtinire. Dacă ne uităm la fotografia cu riglă, vom vedea această riglă - pur și simplu am ignorat-o înainte, știind că nu contează și uitând că sistemul nu știe nimic.
Dar dacă toate fotografiile tale cu pielea nesănătoasă ar fi făcute într-un birou sub lumină incandescentă, iar pielea ta sănătoasă ar fi făcută sub lumină fluorescentă? Ce se întâmplă dacă, după ce ați terminat de fotografiat piele sănătoasă, înainte de a fotografia pielea nesănătoasă, ați actualizat sistemul de operare de pe telefon, iar Apple sau Google au schimbat ușor algoritmul de reducere a zgomotului? O persoană nu poate observa acest lucru, indiferent cât de mult ar căuta astfel de caracteristici. Dar sistemul de utilizare a mașinii va vedea imediat și va folosi acest lucru. Ea nu știe nimic.
Până acum am vorbit despre corelații false, dar s-ar putea și ca datele să fie exacte și rezultatele să fie corecte, dar nu doriți să le folosiți din motive etice, legale sau de management. Unele jurisdicții, de exemplu, nu permit femeilor să primească o reducere la asigurarea lor, chiar dacă femeile pot fi șoferi mai siguri. Ne putem imagina cu ușurință un sistem care, atunci când analizăm datele istorice, ar atribui un factor de risc mai mic numelor feminine. Bine, să eliminăm nume din selecție. Dar amintiți-vă de exemplul Amazon: sistemul poate determina genul pe baza altor factori (chiar dacă nu știe ce este, sau chiar ce este o mașină), și nu veți observa acest lucru până când autoritatea de reglementare nu va analiza retroactiv tarifele pe care le aveți. oferă și vă taxează veți fi amendat.
În cele din urmă, se presupune adesea că vom folosi astfel de sisteme doar pentru proiecte care implică oameni și interacțiuni sociale. Este gresit. Dacă fabricați turbine cu gaz, probabil că veți dori să aplicați învățarea automată la telemetria transmisă de zeci sau sute de senzori de pe produsul dvs. (audio, video, temperatură și orice alți senzori generează date care pot fi adaptate foarte ușor pentru a crea o mașină). model de învățare). Ipotetic, ați putea spune: „Iată date de la o mie de turbine care s-au defectat înainte de a eșua și aici sunt date de la o mie de turbine care nu s-au defectat. Construiește un model pentru a spune care este diferența dintre ei.” Ei bine, acum imaginați-vă că senzorii Siemens sunt instalați pe 75% dintre turbinele proaste și doar 12% dintre cele bune (nu există nicio legătură cu defecțiunile). Sistemul va construi un model pentru a găsi turbine cu senzori Siemens. Hopa!
Imagine – Moritz Hardt, UC Berkeley
Gestionarea AI Bias
Ce putem face în privința asta? Puteți aborda problema din trei unghiuri:
- Rigoare metodologică în colectarea și gestionarea datelor pentru antrenarea sistemului.
- Instrumente tehnice pentru analiza și diagnosticarea comportamentului modelului.
- Antrenați, educați și aveți grijă când implementați învățarea automată în produse.
Există o glumă în cartea lui Molière „Burghezii în nobilime”: unui bărbat i s-a spus că literatura este împărțită în proză și poezie și a fost încântat să descopere că a vorbit în proză toată viața, fără să știe. Probabil așa simt astăzi statisticienii: fără să-și dea seama, ei și-au dedicat cariera inteligenței artificiale și erorii de eșantionare. Căutarea erorii de eșantionare și îngrijorarea cu privire la aceasta nu este o problemă nouă, trebuie doar să abordăm sistematic soluția acesteia. După cum am menționat mai sus, în unele cazuri este de fapt mai ușor să faceți acest lucru prin studierea problemelor legate de datele despre oameni. Presupunem a priori că putem avea prejudecăți cu privire la diferite grupuri de oameni, dar ne este greu să ne imaginăm măcar o prejudecată despre senzorii Siemens.
Ceea ce este nou în toate acestea, desigur, este că oamenii nu mai fac analize statistice în mod direct. Este realizat de mașini care creează modele mari, complexe, greu de înțeles. Problema transparenței este unul dintre principalele aspecte ale problemei părtinirii. Ne temem că sistemul nu este doar părtinitor, ci că nu există nicio modalitate de a-și detecta părtinirea și că învățarea automată este diferită de alte forme de automatizare, care se presupune că ar consta în pași logici clari care pot fi testați.
Sunt două probleme aici. Este posibil să mai putem efectua un fel de audit al sistemelor de învățare automată. Și auditarea oricărui alt sistem nu este de fapt mai ușoară.
În primul rând, una dintre direcțiile cercetării moderne în domeniul învățării automate este căutarea metodelor de identificare a funcționalităților importante ale sistemelor de învățare automată. Acestea fiind spuse, învățarea automată (în starea sa actuală) este un domeniu complet nou al științei, care se schimbă rapid, așa că nu vă gândiți că lucrurile care sunt imposibile astăzi nu pot deveni în curând reale. Proiect este un exemplu interesant în acest sens.
În al doilea rând, ideea că puteți testa și înțelege procesul decizional al sistemelor sau organizațiilor existente este bună în teorie, dar așa este în practică. Înțelegerea modului în care sunt luate deciziile într-o organizație mare nu este ușoară. Chiar dacă există un proces formal de luare a deciziilor, acesta nu reflectă modul în care oamenii interacționează de fapt și ei înșiși nu au adesea o abordare logică, sistematică pentru luarea deciziilor. După cum a spus colegul meu , oamenii sunt și cutii negre.
Luați o mie de oameni în mai multe companii și instituții care se suprapun, iar problema devine și mai complexă. Știm după faptul că naveta spațială era destinată să se despartă la întoarcere, iar indivizii din cadrul NASA aveau informații care le-au dat motive să creadă că s-ar putea întâmpla ceva rău, dar sistemul în general Nu știam asta. NASA chiar a trecut de un audit similar după ce și-a pierdut naveta anterioară și, totuși, a pierdut altul dintr-un motiv foarte asemănător. Este ușor să argumentezi că organizațiile și oamenii urmează reguli clare, logice, care pot fi testate, înțelese și schimbate, dar experiența demonstrează contrariul. Acest "".
Compar adesea învățarea automată cu bazele de date, în special cu cele relaționale - o nouă tehnologie fundamentală care a schimbat capacitățile informaticii și ale lumii din jurul ei, care a devenit parte din tot, pe care o folosim constant fără să ne dăm seama. Bazele de date au și ele probleme și sunt de natură similară: sistemul poate fi construit pe presupuneri proaste sau date proaste, dar va fi greu de observat, iar cei care folosesc sistemul vor face ceea ce le spune fără să pună întrebări. Există o mulțime de glume vechi despre persoanele fiscale care odată ți-au scris greșit numele și să-i convingi să corecteze greșeala este mult mai dificil decât să-ți schimbi numele. Există multe modalități de a gândi la acest lucru, dar nu este clar care este mai bine: ca o problemă tehnică în SQL, sau ca o eroare într-o versiune Oracle sau ca o eșec a instituțiilor birocratice? Cât de dificil este să găsești o eroare într-un proces care a determinat ca sistemul să nu aibă o funcție de corectare a erorilor de scriere? S-ar fi putut înțelege acest lucru înainte ca oamenii să înceapă să se plângă?
Această problemă este ilustrată și mai simplu de poveștile când șoferii conduc în râuri din cauza datelor învechite din navigator. Bine, hărțile trebuie actualizate constant. Dar cât de mult este de vină TomTom pentru că mașina ta a fost aruncată în larg?
Motivul pentru care spun acest lucru este că da, părtinirea învățării automate va crea probleme. Dar aceste probleme vor fi asemănătoare cu cele cu care ne-am confruntat în trecut și pot fi observate și rezolvate (sau nu) la fel de bine cum am putut în trecut. Prin urmare, este puțin probabil să se întâmple cercetătorilor seniori care lucrează într-o organizație mare un scenariu în care părtinirea AI provoacă rău. Cel mai probabil, un contractant nesemnificativ de tehnologie sau un furnizor de software va scrie ceva în genunchi, folosind componente open source, biblioteci și instrumente pe care nu le înțeleg. Iar clientul ghinionist va cumpăra expresia „inteligență artificială” din descrierea produsului și, fără să pună întrebări, o va distribui angajaților săi prost plătiți, ordonându-le să facă ceea ce spune AI. Este exact ceea ce s-a întâmplat cu bazele de date. Aceasta nu este o problemă de inteligență artificială sau chiar o problemă de software. Acesta este factorul uman.
Concluzie
Învățarea automată poate face orice puteți învăța un câine - dar nu puteți fi niciodată sigur ce ați învățat exact câinele.
Adesea simt că termenul „inteligență artificială” se pune doar în calea unor astfel de conversații. Acest termen dă falsa impresie că noi l-am creat de fapt - această inteligență. Că suntem în drum spre HAL9000 sau Skynet - ceva care de fapt înțelege. Dar nu. Acestea sunt doar mașini și este mult mai precis să le comparăm cu, de exemplu, o mașină de spălat. Ea spală mult mai bine decât un om, dar dacă pui vase în ea în loc de rufe, ea... le va spăla. Vasele vor deveni chiar curate. Dar acest lucru nu va fi ceea ce vă așteptați și acest lucru nu se va întâmpla deoarece sistemul are prejudecăți în ceea ce privește felurile de mâncare. Mașina de spălat nu știe ce sunt vasele sau ce sunt hainele - este doar un exemplu de automatizare, conceptual nu diferă de modul în care procesele erau automatizate înainte.
Fie că vorbim despre mașini, avioane sau baze de date, aceste sisteme vor fi atât foarte puternice, cât și foarte limitate. Acestea vor depinde în întregime de modul în care oamenii folosesc aceste sisteme, dacă intențiile lor sunt bune sau rele și cât de mult înțeleg cum funcționează.
Prin urmare, a spune că „inteligența artificială este matematică, deci nu poate avea părtiniri” este complet fals. Dar este la fel de fals să spunem că învățarea automată este „subiectivă în natură”. Învățarea automată găsește modele în date și modelele pe care le găsește depind de date, iar datele depind de noi. Exact ca ceea ce facem cu ei. Învățarea automată face unele lucruri mult mai bine decât putem noi - dar câinii, de exemplu, sunt mult mai eficienți decât oamenii în detectarea drogurilor, ceea ce nu este un motiv pentru a le folosi ca martori și a emite judecăți pe baza mărturiei lor. Și câinii, apropo, sunt mult mai inteligenți decât orice sistem de învățare automată.
Traducere: .
Editare: .
Comunitate: .
Sursa: www.habr.com