tl;dr:
- Învățarea automată caută tipare în date. Însă inteligența artificială poate fi „supusă prejudecății” - adică, poate găsi tipare eronate. De exemplu, un sistem de detectare a cancerului de piele în fotografii poate acorda o atenție deosebită imaginilor realizate într-un cabinet medical. Învățarea automată nu știe să înțeleagă: algoritmii ei doar identifică tipare în numere, iar dacă datele nu sunt reprezentative, rezultatul procesării va fi similar. Identificarea acestor erori poate fi dificilă din cauza mecanicii învățării automate.
- Cea mai evidentă și înfricoșătoare zonă problemă este diversitatea umană. Există multe motive pentru care datele despre oameni pot pierde obiectivitatea chiar din etapa de colectare. Dar nu trebuie să credem că această problemă se referă doar la oameni: aceleași dificultăți apar și atunci când încercăm să detectăm o inundație într-un depozit sau o turbină de gaz defectă. Unele sisteme pot avea prejudecăți legate de culoarea pielii, altele vor fi părtinitoare în ceea ce privește senzorii Siemens.
- Aceste probleme nu sunt noi pentru învățarea automată și nu îi sunt caracteristice doar ei. Presupunerile eronate sunt facute în orice structură complexă, iar a înțelege de ce a fost luată o anumită decizie este întotdeauna dificil. Trebuie să ne confruntăm cu acest lucru în mod complex: să creăm instrumente și procese pentru verificare - și să educăm utilizatorii, astfel încât să nu urmeze orbește recomandările AI. Învățarea automată face unele lucruri mult mai bine decât noi, - dar câinii, de exemplu, sunt mult mai eficienți decât oamenii în detectarea substanțelor ilegale, ceea ce nu este un motiv pentru a-i aduce ca martori și să pronunțăm sentințe bazate pe declarațiile lor. Și câinii, de altfel, sunt mult mai inteligenți decât orice sistem de învățare automată.
Învățarea automată este astăzi una dintre cele mai importante tendințe tehnologice fundamentale. Este una dintre metodele principale prin care tehnologia va schimba lumea în următorul deceniu. Unele aspecte ale acestor schimbări suscită îngrijorare. De exemplu, impactul potențial al învățării automate asupra pieței muncii sau utilizarea acesteia în scopuri neetice (să zicem, de către regimuri autoritare). Există o altă problemă, la care este dedicat acest post: prejudecata inteligenței artificiale.
Aceasta este o poveste complicată.
AI-ul de la Google poate găsi pisici. Această știre din 2012 a fost atunci ceva special.
Ce este «partialitatea AI»?
«Datele brute» sunt atât un oxymoron, cât și o idee proastă; datele trebuie pregătite bine și cu atenție. —Jeffrey Bockert
Până prin 2013, pentru a crea un sistem care, să spunem, recunoaște pisicile în fotografii, trebuia să descrii pașii logici. Cum să găsești unghiurile pe imagine, să recunoști ochii, să analizezi texturile pentru a detecta blana, să numări labele și așa mai departe. Apoi trebuie să aduni toate componentele — și să descoperi că, de fapt, nu funcționează. Aproape ca un cal mecanic — teoretic îl poți face, dar în practică este prea complicat de descris. La final, aveai sute (sau chiar mii) de reguli scrise de mână. Și niciun model funcțional.
Odată cu apariția învățării automate, am încetat să mai folosim reguli „manuale” pentru recunoașterea unui anumit obiect. În schimb, luăm o mie de exemple de «acesta», X, o mie de exemple de «acel altceva», Y, și forțăm computerul să construiască un model pe baza analizei lor statistice. Apoi oferim acestui model un set de date, iar acesta determină, cu o anumită precizie, dacă se potrivește cu unul dintre seturi. Învățarea automată generează un model pe baza datelor, nu cu ajutorul unei persoane care îl scrie. Rezultatele sunt impresionante, mai ales în domeniul recunoașterii imaginilor și a modelelor, și de aceea toată industria tehnologică se îndreaptă acum spre învățarea automată (ML).
Dar nu este totul atât de simplu. În lumea reală, cele mii de exemple X sau Y conțin, de asemenea, A, B, J, L, O, R și chiar L. Ele pot fi distribuite neuniform, iar unele dintre ele pot apărea atât de des încât sistemul va acorda mai multă atenție acestora decât obiectelor care te interesează.
Ce înseamnă asta în practică? Exemplul meu preferat este atunci când sistemele de recunoaștere a imaginilor . E clar de ce: cea mai mare parte a fotografiilor-example cu «oi» sunt făcute pe pășuni, unde acestea trăiesc, iar în aceste imagini iarba ocupă mult mai mult spațiu decât miciile blănițe albe, și tocmai iarba este ceea ce sistemele consideră cel mai important.
Există și exemple mai serioase. Unul recent — unul despre detectarea cancerului de piele în fotografii. S-a dovedit că dermatologii fotografiază adesea o riglă împreună cu manifestările cancerului de piele pentru a înregistra dimensiunea formațiunilor. În exemplele de fotografii cu pielea sănătoasă nu există rigle. Pentru sistemul de inteligență artificială, aceste rigle (mai precis, pixelii pe care îi definim ca „riglă”) au devenit una dintre distincțiile între seturile de exemple și uneori mai importante decât o mică erupție cutanată. Astfel, sistemul creat pentru a recunoaște cancerul de piele a recunoscut uneori rigle în loc de acesta.
Punctul cheie aici este că sistemul nu are o înțelegere semantică a ceea ce se uită. Noi ne uităm la un set de pixeli și vedem în ei o oaie, piele sau rigle, iar sistemul vede doar un șir numeric. Nu vede spațiul tridimensional, nu vede obiecte sau texturi, nu vede nici oile. Vede doar tipare în date.
Dificultatea diagnosticării acestor probleme este că rețeaua neuronală (modelul generat de sistemul dvs. de învățare automată) constă din zeci de mii de noduri. Nu există o modalitate simplă de a privi în model și a vedea cum ia deciziile. A avea o astfel de modalitate ar însemna că procesul este suficient de simplu pentru a descrie toate regulile manual, fără a folosi învățarea automată. Oamenii se îngrijorează că învățarea automată a devenit un fel de „cutie neagră”. (Voi explica mai târziu de ce această comparație este totuși exagerată.)
Aceasta, în linii mari, este problema prejudecății inteligenței artificiale sau învățării automate: un sistem pentru găsirea de tipare în date poate găsi tipare greșite, iar dumneavoastră s-ar putea să nu observați acest lucru. Aceasta este o caracteristică fundamentală a tehnologiei și este evidentă pentru oricine lucrează cu aceasta în cercurile științifice și în mari companii tehnologice. Însă consecințele sale sunt complexe, iar soluțiile noastre posibile la aceste consecințe sunt, de asemenea.
Să discutăm mai întâi despre consecințe.
AI poate face alegeri în mod implicit pentru noi în favoarea anumitor categorii de oameni, bazându-se pe o mulțime de semnale subtile.
Scenarii de prejudecată AI
Cel mai evident și înfricoșător este că această problemă ar putea apărea când vine vorba de diversitatea umană. Recent, , că Amazon a încercat să construiască un sistem de învățare automată pentru a realiza o selecție inițială a candidaților pentru locuri de muncă. Deoarece printre angajații Amazon sunt mai mulți bărbați, exemplele de „angajare reușită” erau, de asemenea, predominant masculine, iar în selecția de CV-uri propusă de sistem, erau mai mulți bărbați. Amazon a observat acest lucru și nu a lansat sistemul în producție.
Cel mai important lucru în acest exemplu este că sistemul, conform zvonurilor, prefera candidații de sex masculin, deși sexul nu era specificat în CV. Sistemul observa alte modele în exemplele de „angajare reușită”: de exemplu, femeile ar putea folosi cuvinte speciale pentru a-și descrie realizările sau ar putea avea hobby-uri specifice. Desigur, sistemul nu știa ce înseamnă „hochei”, cine sunt „oamenii” sau ce înseamnă „succes” – el doar efectua o analiză statistică a textului. Dar regularitățile pe care le-a observat probabil că ar fi trecut neobservate de un om, iar unele dintre ele (de exemplu, că oamenii de diferite sexe descriu succesul în mod diferit) ne-ar fi greu să le observăm chiar și privindu-le.
Mai departe – mai rău. Sistemul de învățare automată, care găsește foarte bine cancerul pe pielea deschisă, poate funcționa mai slab pe pielea închisă, sau invers. Nu neapărat din cauza prejudecății, ci pentru că, probabil, trebuie să construiești un model separat pentru o altă culoare a pielii, alegând alte caracteristici. Sistemele de învățare automată nu sunt interschimbabile, chiar și într-un domeniu atât de restrâns precum recunoașterea imaginilor. Trebuie să configurezi sistemul, uneori doar prin încercări și greșeli, pentru a observa bine caracteristicile din datele care te interesează, până când ajungi la acuratețea dorită. Dar s-ar putea să nu observi că sistemul are o acuratețe de 98% când lucrează cu un grup și doar de 91% (deși este mai precis decât analiza realizată de un om) – cu altul.
Până acum am folosit în principal exemple legate de oameni și caracteristicile acestora. Acesta este, de asemenea, subiectul principal al discuției din jurul acestei probleme. Dar este important să înțelegem că prejudecata față de oameni este doar o parte a problemei. Vom utiliza învățarea automată pentru o mulțime de lucruri, iar eroarea de eșantionare va fi relevantă pentru toate acestea. Pe de altă parte, dacă lucrezi cu oameni, prejudecata datelor poate să nu fie legată de ei.
Pentru a înțelege acest lucru, să ne întoarcem la exemplul cu cancerul de piele și să analizăm trei scenarii ipotetice de eșec al sistemului.
- Distribuția heterogenă a persoanelor: un număr disproporționat de fotografii ale pielii în tonuri diferite, ceea ce duce la rezultate fals pozitive sau fals negative legate de pigmentație.
- Datele pe care se antrenează sistemul conțin o caracteristică frecvent întâlnită și distribuită inegal, care nu este legată de oameni și nu are valoare diagnostică: o riglă în fotografiile cu manifestări ale cancerului de piele sau iarba în fotografiile cu oi. În acest caz, rezultatul va varia daca pe imagine sistemul găsește pixeli ai unui obiect pe care ochiul uman îl va identifica ca fiind «riglă».
- Datele conțin o caracteristică externă care nu poate fi văzută de om, chiar dacă o caută.
Ce înseamnă acest lucru? Știm dinainte că datele pot reprezenta diferit grupuri diverse de oameni și, cel puțin, putem planifica căutarea unor asemenea excepții. Cu alte cuvinte, există o mulțime de motive sociale pentru a presupune că datele despre grupuri de oameni conțin deja un anumit prejudiciu. Dacă ne uităm la o fotografie cu o riglă, o vom observa — am ignorat-o doar înainte, știind că nu are importanță și uitând că sistemul nu știe nimic.
Dar ce se întâmplă dacă toate fotografiile cu piele nesănătoasă au fost făcute într-un birou unde se utilizează becuri incandescente, iar cele cu piele sănătoasă — sub luminile fluorescente? Ce se întâmplă dacă, după ce ai terminat de fotografiat pielea sănătoasă, înainte de a fotografia pielea nesănătoasă, ai actualizat sistemul de operare al telefonului tău, iar Apple sau Google au modificat puțin algoritmul de reducere a zgomotului? Un om nu va observa asta, oricât de mult ar căuta asemenea caracteristici. Însă sistemul de utilizare a mașinilor va observa imediat și va folosi acest lucru. El nu știe nimic.
Deși vorbeam despre corelații false, este posibil ca datele să fie precise și rezultatele să fie corecte, dar să nu doriți să le folosiți din motive etice, legale sau de management. În unele jurisdicții, de exemplu, nu se poate oferi reduceri la asigurare femeilor, chiar dacă femeile ar putea conduce mai sigur. Ne putem imagina cu ușurință un sistem care, analizând date istorice, va atribui numelui femeilor un coeficient de risc mai mic. Bine, să eliminăm numele din eșantion. Dar amintiți-vă exemplul cu Amazon: sistemul poate determina sexul pe baza altor factori (deși el nu știe ce este sexul, nici ce este mașina), iar dumneavoastră nu veți observa asta până când un regulator nu va analiza retroactiv tarifele pe care le-ați propus și nu vă va impune o amendă.
În cele din urmă, se presupune adesea că vom folosi astfel de sisteme doar pentru proiecte legate de oameni și de interacțiuni sociale. Asta nu este adevărat. Dacă produceți turbine cu gaz, cu siguranță veți dori să aplicați învățarea automată pe telemetria transmisă de zeci sau sute de senzori de pe produsul dumneavoastră (senzorii audio, video, de temperatură și orice alți senzori generează date care pot fi foarte ușor adaptate pentru a crea un model de învățare automată). Ipoteza este că puteți spune: „Iată datele despre o mie de turbinii defecte obținute înainte de defectarea lor și iată datele de la o mie de turbine care nu s-au stricat. Construiește un model pentru a arăta în ce constă diferența dintre ele.” Acum imaginați-vă că senzorii Siemens sunt montați pe 75% din turbinele defecte și doar pe 12% din cele bune (fără legătură cu defectele în sine). Sistemul va construi un model pentru a găsi turbinii cu senzori Siemens. Ups!
Imagine – Moritz Hardt, UC Berkeley
Gestionarea prejudecății în AI
Ce putem face în legătură cu asta? Putem aborda problema din trei unghiuri:
- Rigor metodologic în colectarea și gestionarea datelor pentru antrenarea sistemului.
- Instrumente tehnice pentru analizarea și diagnosticarea comportamentului modelului.
- Instruire, educație și prudență în implementarea învățării automate în produse.
În cartea „Burghezul gentilom” de Molière există o glumă: unui bărbat i s-a spus că literatura se împarte în proză și poezie, iar el descoperă cu uimire că a vorbit toată viața proză, fără să știe. Probabil că statisticienii se simt cam la fel astăzi: fără să-și dea seama, și-au dedicat carierele inteligenței artificiale și erorii de eșantionare. Căutarea erorii de eșantionare și îngrijorarea din cauza ei nu este o problemă nouă, trebuie doar să abordăm sistematic soluția. Așa cum am menționat mai sus, în unele cazuri este cu adevărat mai simplu să studiem problemele legate de datele despre oameni. Noi presupunem din start că putem avea prejudecăți față de diferite grupuri de oameni, dar prejudecata cu privire la senzorii Siemens este greu de imaginat.
Nou în toată aceasta, desigur, este că oamenii nu mai fac analiza statistică direct. Acest lucru este realizat de mașini, care creează modele mari și complexe, greu de înțeles. Problema transparenței este unul dintre aspectele fundamentale ale problemei prejudecății. Ne este frică că sistemul nu este doar părtinitor, ci că nu există nicio posibilitate de a detecta părtinirea sa, și că învățarea automată se deosebește de alte forme de automatizare, care, așa cum se presupune, constau în pași logici clari, care pot fi verificați.
Aici există două probleme. Poate că putem efectua Într-un fel un audit al sistemelor de învățare automată. Iar auditul oricărui alt sistem, de fapt, nu este deloc mai ușor.
În primul rând, una dintre direcțiile actuale de cercetare în domeniul învățării automate este căutarea de metode pentru identificarea funcționalităților importante ale sistemelor de învățare automată. În acest context, învățarea automată (în starea sa actuală) este un domeniu complet nou al științei, care se schimbă rapid, așa că nu ar trebui să credem că lucruri imposibile astăzi nu pot deveni în curând complet reale. Proiectul este un exemplu interesant în acest sens.
În al doilea rând, ideea că putem analiza și înțelege procesul de luare a deciziilor în sistemele sau organizațiile existente este bună în teorie, dar nu foarte utilă în practică. A înțelege cum se iau deciziile într-o organizație mare nu este deloc simplu. Chiar dacă există un proces formal de luare a deciziilor, acesta nu reflectă modul în care oamenii interacționează cu adevărat, iar ei înșiși adesea nu au o abordare logică și sistematică în cadrul deciziilor lor. Așa cum a spus colegul meu , oamenii sunt, de asemenea, cutii negre.
Luați o mie de oameni din mai multe companii și instituții intersecționate, iar problema devine și mai complexă. Știm, în retrospectivă, că naveta spațială 'Space Shuttle' a fost destinată să se dezintegreze la întoarcere, iar anumite persoane din cadrul NASA aveau informații care le dădeau motive să creadă că ar putea avea loc ceva rău, dar sistemul în ansamblu nu știa acest lucru. NASA tocmai trecuse printr-un audit similar, după ce pierduse naveta anterioară, și totuși a pierdut una nouă - dintr-un motiv foarte asemănător. E simplu să afirmi că organizațiile și oamenii urmează reguli logice clare, care pot fi verificate, înțelese și schimbate - dar experiența demonstrează contrariul. Aceasta este '».
Adesea compar învățarea automată cu bazele de date, în special cu cele relaționale - o tehnologie fundamentală nouă, care a revoluționat capacitățile informaticii și lumea din jurul ei, care a devenit parte din tot ceea ce facem și pe care o folosim constant fără să ne dăm seama. Bazele de date au și ele probleme, iar acestea sunt de o natură similară: sistemul poate fi construit pe presupuneri greșite sau pe date eronate, dar acest lucru va fi greu de observat, iar persoanele care folosesc sistemul vor face ceea ce le spune el, fără să pună întrebări. Există o mulțime de glume vechi despre angajații fiscului care au notat odată greșit numele tău, și este mult mai dificil să-i convingi să corecteze eroarea decât să-ți schimbi efectiv numele. Poate fi gândit diferit, dar nu este clar care este abordarea corectă: ca o problemă tehnică în SQL, ca o eroare în lansarea Oracle sau ca o defecțiune a instituțiilor birocratice? Cât de greu este să găsești o eroare în procesul care a dus la faptul că sistemul nu are o funcție precum corectarea greșelilor de tipar? A fost posibil să se înțeleagă asta înainte ca oamenii să înceapă să se plângă?
O problemă asemănătoare este ilustrată și de poveștile în care șoferii, din cauza datelor învechite din navigator, ajung în râuri. E clar că hărțile trebuie actualizate constant. Dar până la ce punct este TomTom vinovat că mașina ta este dusă în mare?
Spun asta pentru că, da, părtinirea în învățarea automată va crea probleme. Dar aceste probleme vor fi similare cu cele cu care ne-am confruntat în trecut, și le putem observa și rezolva (sau nu) cam la fel de bine cum am reușit în trecut. Prin urmare, scenariul în care părtinirea IA va provoca daune este puțin probabil să se întâmple cu cercetătorii de frunte care lucrează într-o organizație mare. Cel mai probabil, un contractor sau un vânzător de software minor scrie ceva fără a înțelege, folosind componente open-source, biblioteci și instrumente de care nu îi pasă. Și clientul nefericit se va lăsa păcălit de expresia „inteligență artificială” din descrierea produsului și, fără să pună întrebări, va oferi acest produs angajaților săi slab plătiți, obligându-i să facă ceea ce le spune IA. Aceasta este situația cu bazele de date. Nu este o problemă a inteligenței artificiale, și nici măcar o problemă a software-ului. Este un factor uman.
Concluzie
Învățarea automată poate face tot ceea ce poți învăța un câine — dar nu vei putea fi niciodată sigur ce anume l-ai învățat pe acel câine.
Adesea îmi pare că termenul „inteligență artificială” doar împiedică discuțiile de acest gen. Acest termen creează o impresie falsă că noi, de fapt, am creat-o — această inteligență. Că suntem pe calea către HAL9000 sau Skynet — către ceva ce, în realitate, înțelege. Dar nu. Sunt doar mașini, și este mult mai corect să le comparăm, spre exemplu, cu o mașină de spălat. Aceasta se descurcă mult mai bine decât omul cu spălarea, dar dacă pui în ea vase în loc de rufe, ea le va… spăla. Vasele vor fi chiar curate. Dar nu va fi ceea ce te aștepți, iar acest lucru nu se va întâmpla pentru că sistemul are anumite prejudecăți față de vase. Mașina de spălat nu știe ce sunt vasele sau rufele — este doar un exemplu de automatizare, conceptual nu diferit de modul în care procesele au fost automatizate mai devreme.
Indiferent de subiect — despre mașini, avioane sau baze de date — aceste sisteme vor fi în același timp foarte puternice și foarte limitate. Vor depinde complet de modul în care oamenii folosesc aceste sisteme, de intențiile lor bune sau rele și de cât de bine înțeleg cum funcționează acestea.
Prin urmare, a spune că „inteligența artificială este matematică, deci nu poate avea prejudecăți” este complet greșit. Dar la fel de greșit este să afirmi că învățarea automată „este subiectivă prin natura sa”. Învățarea automată găsește modele în date, iar ce modele va găsi depinde de date, iar datele depind de noi. La fel și ceea ce facem cu ele. Învățarea automată face într-adevăr unele lucruri mult mai bine decât noi — dar câinii, de exemplu, sunt mult mai eficienți decât oamenii în detectarea drogurilor, ceea ce nu este deloc un motiv pentru a-i considera martori și a emite verdicturi pe baza mărturiilor lor. Și câinii, ca o paranteză, sunt mult mai inteligenți decât orice sistem de învățare automată.
Traducere: .
Revizuire: .
Comunitate: .
Sursa: habr.com
