tl;dr:
- Uczenie maszynowe szuka wzorców w danych. Jednak sztuczna inteligencja może być „stronnicza” — to znaczy znajdować błędne wzorce. Na przykład system wykrywania raka skóry z fotografii może szczególnie zwracać uwagę na zdjęcia wykonane w gabinecie lekarskim. Uczenie maszynowe nie umie rozumieć: jego algorytmy jedynie ujawniają wzorce w liczbach, a jeśli dane nie są reprezentatywne, taki będzie również wynik ich przetwarzania. Wykrywanie takich błędów może być trudne z powodu samej mechaniki uczenia maszynowego.
- Najbardziej oczywistym i niepokojącym obszarem problemowym jest różnorodność ludzka. Istnieje wiele powodów, dla których dane o ludziach mogą stracić obiektywność już na etapie zbierania. Ale nie należy myśleć, że problem ten dotyczy tylko ludzi: takie same trudności pojawiają się przy próbie wykrycia zalania w magazynie czy uszkodzonej turbiny gazowej. Niektóre systemy mogą mieć uprzedzenia wobec koloru skóry, inne będą stronniczo podchodzić do czujników Siemens.
- Takie problemy nie są nowe dla uczenia maszynowego i nie dotyczą tylko tego obszaru. Błędne założenia występują w każdej skomplikowanej strukturze, a zrozumienie, dlaczego podjęto taką, a nie inną decyzję, zawsze jest trudne. Należy z tym walczyć kompleksowo: tworzyć narzędzia i procesy do weryfikacji — oraz edukować użytkowników, aby nie ślepo podążali za zaleceniami AI. Uczenie maszynowe rzeczywiście robi niektóre rzeczy znacznie lepiej niż my, — ale psy, na przykład, są znacznie skuteczniejsze od ludzi w wykrywaniu narkotyków, co wcale nie jest powodem, aby traktować je jako świadków i wydawać wyroki na podstawie ich zeznań. A psy, na marginesie, są znacznie mądrzejsze niż jakikolwiek system uczenia maszynowego.
Uczenie maszynowe to obecnie jeden z najważniejszych fundamentalnych trendów technologicznych. To jeden z głównych sposobów, w jakie technologia zmieni otaczający nas świat w nadchodzącej dekadzie. Niektóre aspekty tych zmian budzą niepokój. Na przykład, potencjalny wpływ uczenia maszynowego na rynek pracy, lub jego wykorzystanie do nieetycznych celów (na przykład przez reżimy autorytarne). Jest jeszcze jeden problem, któremu poświęcony jest ten post: stronniczość sztucznej inteligencji.
To nie jest prosta historia.
SI od Google potrafi znajdować koty. Ta wiadomość z 2012 roku była wtedy czymś wyjątkowym.
Co to jest „stronniczość SI”?
„Surowe dane” to jednocześnie oksymoron i zły pomysł; dane trzeba odpowiednio i starannie przygotować. —Jeffrey Becker
Do około 2013 roku, aby stworzyć system, który, powiedzmy, rozpoznaje koty na zdjęciach, musiałeś opisać logiczne kroki. Jak znaleźć kąty na obrazie, rozpoznać oczy, przeanalizować tekstury pod kątem futra, policzyć łapy i tak dalej. Następnie zbierz wszystkie komponenty — i odkryj, że to wszystko nie działa. Mniej więcej jak mechaniczny koń — teoretycznie można go zrobić, ale w praktyce jest zbyt skomplikowany do opisania. Na wyjściu masz setki (a nawet tysiące) ręcznie napisanych zasad. I żadnego działającego modelu.
Z pojawieniem się uczenia maszynowego przestaliśmy używać „ręcznych” zasad do rozpoznawania tego czy owego obiektu. Zamiast tego bierzemy tysiąc próbek „tego”, X, tysiąc próbek „innego”, Y, i każemy komputerowi zbudować model oparty na ich analizie statystycznej. Następnie dajemy temu modelowi pewien przykład danych, a on z pewną dokładnością określa, czy pasuje do któregoś z zestawów. Uczenie maszynowe generuje model na podstawie danych, a nie poprzez człowieka, który go pisze. Wyniki są imponujące, szczególnie w obszarze rozpoznawania obrazów i wzorców, i dlatego cała branża technologiczna teraz przechodzi na uczenie maszynowe (ML).
Ale nie wszystko jest takie proste. W rzeczywistym świecie twoje tysiące przykładów X lub Y mogą również zawierać A, B, J, L, O, R, a nawet L. Mogą być nierównomiernie rozłożone, a niektóre z nich mogą występować tak często, że system zwróci na nie więcej uwagi niż na obiekty, które cię interesują.
Co to oznacza w praktyce? Mój ulubiony przykład — to gdy systemy rozpoznawania obrazów . Rozumiesz dlaczego: większość zdjęć-przykładów „owcy” została zrobiona na łąkach, gdzie one żyją, a na tych obrazach trawa zajmuje znacznie więcej miejsca niż małe białe puszyste stwory i to właśnie trawę systemy uznają za najważniejszą.
Są też bardziej poważne przykłady. Z ostatnich dni — jeden o wykrywaniu raka skóry na zdjęciach. Okazało się, że dermatolodzy często fotografują linijkę razem z objawami raka skóry, aby zarejestrować rozmiar zmian. W przypadku zdjęć zdrowej skóry linijek nie ma. Dla systemu AI takie linijki (dokładniej, piksele, które my określamy jako „linijka”) stały się jednym z rozróżnień między zestawami przykładów i czasami ważniejszymi niż drobna wysypka na skórze. W ten sposób system, stworzony do rozpoznawania raka skóry, czasami rozpoznawał linijki zamiast niego.
Kluczowym punktem jest to, że system nie ma semantycznego zrozumienia tego, na co patrzy. My patrzymy na zestaw pikseli i widzimy w nich owcę, skórę lub linijki, a system widzi tylko ciąg liczb. Nie widzi przestrzeni trójwymiarowej, nie dostrzega ani obiektów, ani tekstur, ani owiec. Po prostu widzi wzory w danych.
Trudność w diagnozowaniu takich problemów polega na tym, że sieć neuronowa (model wygenerowany przez twój system uczenia maszynowego) składa się z tysięcy setek tysięcy węzłów. Nie ma prostego sposobu zajrzenia do modelu i zobaczenia, jak podejmuje decyzje. Posiadanie takiego sposobu oznaczałoby, że proces jest wystarczająco prosty, by opisać wszystkie zasady ręcznie, bez użycia uczenia maszynowego. Ludzie obawiają się, że uczenie maszynowe stało się pewnego rodzaju „czarną skrzynką”. (Wyjaśnię później, dlaczego to porównanie jest zbyt daleko posunięte.)
To, w ogólnych słowach, jest problemem uprzedzeń sztucznej inteligencji lub uczenia maszynowego: system do znajdowania wzorów w danych może znaleźć błędne wzory, a ty możesz tego nie zauważyć. To fundamentalna cecha technologii i jest to oczywiste dla wszystkich, którzy z nią pracują w środowiskach naukowych i dużych firmach technologicznych. Ale jej konsekwencje są skomplikowane, a nasze możliwe rozwiązania tych konsekwencji również.
Porozmawiajmy najpierw o konsekwencjach.
AI może nieświadomie podejmować wybory na korzyść pewnych kategorii ludzi, opierając się na wielu nieuchwytnych sygnałach.
Scenariusze uprzedzeń AI
Najbardziej oczywistym i przerażającym jest to, że problem ten może ujawnić się, gdy mowa o różnorodności ludzkiej. Ostatnio , że Amazon próbował stworzyć system uczenia maszynowego do wstępnej selekcji kandydatów do pracy. Ponieważ wśród pracowników Amazona jest więcej mężczyzn, przykłady „udanych zatrudnień” były również częściej męskie, a w zestawieniu życiorysów zaproponowanym przez system było więcej mężczyzn. Amazon zauważył to i nie wypuścił systemu do produkcji.
Najważniejsza w tym przykładzie jest informacja, że system, jak mówi się, faworyzował kandydatów płci męskiej, mimo że płeć nie była wskazana w życiorysie. System dostrzegał inne wzorce w przykładach „udanych zatrudnień”: na przykład, kobiety mogą używać szczególnych słów do opisu osiągnięć lub mieć wyjątkowe hobby. Oczywiście, system nie wiedział, czym jest „hokej”, kim są „ludzie” ani czym jest „sukces” — po prostu przeprowadzał analizę statystyczną tekstu. Jednakże wzorce, które dostrzegał, prawdopodobnie pozostałyby niezauważone przez człowieka, a niektóre z nich (na przykład to, że ludzie różnej płci różnie opisują sukces) mogłyby być dla nas trudne do zauważenia, nawet patrząc na nie.
Dalej — gorzej. System uczenia maszynowego, który bardzo dobrze wykrywa raka u osób o bladej skórze, może gorzej działać u osób o ciemniejszej karnacji, lub odwrotnie. Niekoniecznie z powodu stronniczości, lecz ponieważ prawdopodobnie trzeba będzie zbudować osobny model dla innego koloru skóry, wybierając inne cechy. Systemy uczenia maszynowego nie są wymienne nawet w tak wąskim zakresie, jak rozpoznawanie obrazów. Musisz dostosować system, czasami po prostu metodą prób i błędów, aby dobrze dostrzegał cechy w interesujących cię danych, aż osiągniesz pożądaną dokładność. Ale możesz nie zauważyć, że system jest dokładny w 98% przypadków przy pracy z jedną grupą i tylko w 91% (choć to i tak bardziej precyzyjne niż analiza przeprowadzona przez człowieka) — z inną.
Jak dotąd używałem głównie przykładów dotyczących ludzi i ich cech. To właśnie na tym temat skupia się dyskusja wokół tego problemu. Ważne jest jednak, aby zrozumieć, że stronniczość wobec ludzi to tylko część problemu. Będziemy używać uczenia maszynowego do wielu rzeczy, a błąd próbki będzie istotny dla wszystkich z nich. Z drugiej strony, jeżeli pracujesz z ludźmi, stronniczość danych może być z nimi związana, a nie z nimi.
Aby to zrozumieć, wróćmy do przykładu z rakiem skóry i rozważmy trzy hipotetyczne możliwości awarii systemu.
- Nierównomierny rozkład ludzi: niezrównoważona liczba zdjęć skóry w różnych odcieniach, co prowadzi do fałszywie pozytywnych lub fałszywie negatywnych wyników związanych z pigmentacją.
- Dane, na których trenuje system, zawierają często występującą i nierównomiernie rozłożoną cechę, niezwiązaną z ludźmi i nie mającą wartości diagnostycznej: linijkę na zdjęciach objawów raka skóry lub trawę na zdjęciach owiec. W takim przypadku wynik będzie różny, jeśli na obrazie system znajdzie piksele czegoś, co ludzkie oko zidentyfikuje jako „linijkę”.
- Dane zawierają zewnętrzną cechę, której człowiek nie może zobaczyć, nawet jeśli będzie jej szukał.
Co to oznacza? Z góry wiemy, że dane mogą różnie reprezentować różne grupy ludzi, i przynajmniej możemy zaplanować poszukiwanie podobnych wyjątków. Innymi słowy, istnieje wiele społecznych powodów, by przypuszczać, że dane o grupach ludzi już zawierają pewne uprzedzenia. Jeśli spojrzymy na zdjęcie z linijką, zobaczymy tę linijkę — po prostu ignorowaliśmy ją wcześniej, wiedząc, że nie ma znaczenia, zapominając, że system nic o tym nie wie.
Ale co, jeśli wszystkie twoje zdjęcia niezdrowej skóry zostały zrobione w biurze, gdzie używane są żarówki, a zdrowej — przy świetle fluorescencyjnym? Co, jeśli po skończeniu nagrywania zdrowej skóry przed nagraniem niezdrowej zaktualizowałeś system operacyjny w telefonie, a Apple lub Google nieco zmieniło algorytm redukcji szumów? Człowiek może tego nie dostrzec, niezależnie od tego, jak bardzo by się starał. A system maszynowego uczenia od razu to dostrzega i wykorzystuje. Nic o tym nie wie.
Podczas gdy mówiliśmy o fałszywych korelacjach, zdarza się, że dane są prawdziwe, a wyniki poprawne, ale nie chcesz ich używać z powodów etycznych, prawnych lub zarządzających. W niektórych jurysdykcjach na przykład nie można oferować kobietom zniżek na ubezpieczenia, mimo że kobiety mogą prowadzić samochody bezpieczniej. Łatwo możemy sobie wyobrazić system, który przy analizie danych historycznych przypisze żeńskim imionom niższy współczynnik ryzyka. Okej, usuńmy imiona z próby. Ale przypomnij sobie przykład Amazona: system może określić płeć na podstawie innych czynników (choć nie wie, czym jest płeć, ani co to jest samochód), a ty tego nie zauważysz, dopóki regulator nie przeanalizuje retroaktywnie oferowanych przez ciebie stawek i nie nałoży na ciebie kary.
Na koniec często przyjmuje się, że takie systemy będą używane tylko w projektach związanych z ludźmi i interakcjami społecznymi. To nieprawda. Jeśli zajmujesz się turbinami gazowymi, zapewne będziesz chciał zastosować uczenie maszynowe do telemetrii przekazywanej przez dziesiątki lub setki czujników w twoim produkcie (czujniki audio, wideo, temperatury i wszelkie inne generują dane, które można bardzo łatwo dostosować do stworzenia modelu uczenia maszynowego). Hipotetycznie możesz powiedzieć: „Oto dane o tysiącu uszkodzonych turbin, zebrane przed ich awarią, a oto dane z tysiąca turbin, które nie uległy awarii. Zbuduj model, aby powiedzieć, w czym różnica między nimi”. A teraz wyobraź sobie, że czujniki Siemensa znajdują się na 75% wadliwych turbin, i tylko na 12% dobrych (przy tym brak związku z awariami). System zbuduje model, aby znajdować turbiny z czujnikami Siemensa. Ups!
Zdjęcie — Moritz Hardt, UC Berkeley
Zarządzanie uprzedzeniami AI
Co możemy z tym zrobić? Można podejść do problemu z trzech stron:
- Metodologiczna surowość przy zbieraniu i zarządzaniu danymi do trenowania systemu.
- Narzędzia techniczne do analizy i diagnozy zachowania modelu.
- Szkolenie, edukacja i ostrożność przy wdrażaniu uczenia maszynowego w produktach.
W książce „Mieszczanin wśród szlachciców” Moliera jest żart: pewnemu mężczyźnie opowiedziano, że literatura dzieli się na prozę i poezję, a on z zachwytem odkrywa, że przez całe życie mówił prozą, nie zdając sobie z tego sprawy. Prawdopodobnie statystycy czują się dziś podobnie: nie zdając sobie z tego sprawy, poświęcili swoje kariery sztucznej inteligencji i błędom próbkowania. Szukanie błędu próbkowania i przeżywanie go nie jest nowym problemem, musimy po prostu systemowo podejść do jego rozwiązania. Jak wspomniano powyżej, w niektórych przypadkach rzeczywiście łatwiej jest to zrobić, badając problemy związane z danymi o ludziach. Z założenia zakładamy, że możemy mieć uprzedzenia wobec różnych grup ludzi, ale trudno nam nawet wyobrazić sobie uprzedzenia dotyczące czujników Siemens.
Nowością w tym wszystkim jest oczywiście to, że ludzie nie zajmują się bezpośrednio analizą statystyczną. Przeprowadzają ją maszyny, które tworzą duże, złożone modele, trudne do zrozumienia. Kwestia przejrzystości jest jednym z podstawowych aspektów problemu stronniczości. Boimy się, że system nie tylko jest stronniczy, ale że nie ma żadnej możliwości wykrycia jego stronniczości, a uczenie maszynowe różni się tym od innych form automatyzacji, które, jak się zakłada, składają się z jasnych, logicznych kroków, które można sprawdzić.
Tutaj mamy dwie problemy. Może jednak możemy przeprowadzać jakiś audyt systemów uczenia maszynowego. A audyt jakiegokolwiek innego systemu w rzeczywistości wcale nie jest łatwiejszy.
Po pierwsze, jednym z kierunków nowoczesnych badań w dziedzinie uczenia maszynowego jest poszukiwanie metod wykrywania ważnych funkcji systemów uczenia maszynowego. Ponadto uczenie maszynowe (w swoim obecnym stanie) to zupełnie nowa dziedzina nauki, która szybko się zmienia, więc nie warto myśleć, że rzeczy niemożliwe dzisiaj, mogą wkrótce stać się całkowicie realne. Projekt jest interesującym tego przykładem.
Po drugie, pomysł, że można analizować i rozumieć proces podejmowania decyzji w istniejących systemach czy organizacjach, jest dobry w teorii, ale niepraktyczny w praktyce. Zrozumienie, jak podejmowane są decyzje w dużej organizacji, nie jest wcale proste. Nawet jeśli istnieje formalny proces podejmowania decyzji, rzadko odzwierciedla on rzeczywiste interakcje między ludźmi, a ci często nie mają logicznego, systemowego podejścia do podejmowania swoich decyzji. Jak powiedział mój kolega , ludzie są także czarnymi skrzynkami.
Weźmy tysiąc osób w kilku pokrywających się firmach i instytucjach, a problem stanie się jeszcze bardziej złożony. Wiemy post factum, że "Space Shuttle" miał rozpaść się na części podczas powrotu, a niektórzy ludzie w NASA mieli informacje, które dawały im powód do obaw, że może wydarzyć się coś złego, ale system w całości tego nie wiedział. NASA właśnie przeszła podobny audyt, tracąc poprzedniego shuttla, a mimo to straciła kolejnego — z bardzo podobnego powodu. Łatwo jest twierdzić, że organizacje i ludzie podążają za jasnymi, logicznymi zasadami, które można sprawdzić, zrozumieć i zmienić — ale doświadczenie pokazuje coś przeciwnego. To "».
Często porównuję uczenie maszynowe z bazami danych, zwłaszcza z relacyjnymi — nową fundamentalną technologią, która zmieniła możliwości informatyki i otaczający nas świat, która stała się częścią wszystkiego, co nieustannie używamy, nie zdając sobie z tego sprawy. Bazy danych również mają swoje problemy, które mają podobny charakter: system może być zbudowany na fałszywych założeniach lub na złych danych, ale trudno to zauważyć, a osoby korzystające z systemu będą robić to, co on im mówi, nie zadając pytań. Istnieje mnóstwo starych dowcipów o pracownikach skarbówki, którzy kiedyś błędnie zapisali twoje imię, i przekonanie ich do poprawienia błędu jest znacznie trudniejsze niż faktyczna zmiana imienia. Można myśleć o tym na różne sposoby, ale nie jest jasne, jak lepiej: jako o problemie technicznym w SQL, czy jako o błędzie w wydaniu Oracle, czy jako o awarii instytucji biurokratycznych? Jak trudno znaleźć błąd w procesie, który doprowadził do tego, że system nie ma takiej funkcji, jak korekta literówek? Czy można było to zrozumieć przed tym, jak ludzie zaczęli skarżyć się?
Jeszcze łatwiej tę problematykę ilustracją posłużą historie, w których kierowcy z powodu przestarzałych danych w nawigatorze zjeżdżają do rzek. Dobrze, mapy powinny być stale aktualizowane. Ale na ile TomTom jest winny temu, że twój samochód zostaje porwany przez morze?
Mówię to, aby podkreślić, że tak — stronniczość w uczeniu maszynowym stworzy problemy. Jednak będą one podobne do tych, z którymi mieliśmy do czynienia w przeszłości, i będzie można je zauważyć i rozwiązać (lub nie) mniej więcej tak samo dobrze, jak to wychodziło nam w przeszłości. Z tego względu scenariusz, w którym stronniczość AI wyrządzi szkody, raczej nie zdarzy się w przypadku wiodących badaczy pracujących w dużych organizacjach. Prawdopodobnie jakiś mało znaczący wykonawca technologiczny lub dostawca oprogramowania napisze coś na kolanie, używając komponentów open source, bibliotek i narzędzi, których nie rozumie. A nieszczęśliwy klient da się nabrać na wyrażenie "sztuczna inteligencja" w opisie produktu i, nie zadając zbędnych pytań, przekaże to swoim nisko opłacanym pracownikom, nakazując im robić to, co powie AI. Dokładnie to się stało z bazami danych. To nie jest problem sztucznej inteligencji, ani nawet problem oprogramowania. To czynnik ludzki.
Podsumowanie
Uczenie maszynowe może zrobić wszystko, czego możesz nauczyć psa — ale nigdy nie możesz być pewien, czego dokładnie tego psa nauczyłeś.
Często wydaje mi się, że termin „sztuczna inteligencja” jedynie przeszkadza w rozmowach tego typu. Ten termin tworzy fałszywe wrażenie, że naprawdę ją stworzyliśmy — tę inteligencję. Że jesteśmy na drodze do HAL 9000 lub Skynet — do czegoś, co tak naprawdę rozumie. Ale nie. To tylko maszyny, i znacznie lepiej porównywać je, powiedzmy, z pralką. Radzi sobie z praniem lepiej niż człowiek, ale jeśli wrzucisz do niej naczynia zamiast bielizny, to je… wypierze. Naczynia będą nawet czyste. Ale to nie to, na co liczyłeś, i nie stanie się tak dlatego, że system ma jakieś uprzedzenia wobec naczyń. Pralka nie wie, co to naczynia, ani co to ubrania — to tylko przykład automatyzacji, koncepcyjnie podobny do tego, jak wcześniej automatyzowano procesy.
Bez względu na to, o czym mowa — o maszynach, samolotach czy bazach danych — te systemy będą jednocześnie bardzo potężne i bardzo ograniczone. Będą całkowicie zależne od tego, jak ludzie używają tych systemów, jak dobre lub złe mają intencje i jak dobrze rozumieją ich działanie.
W związku z tym stwierdzenie, że „sztuczna inteligencja to matematyka, więc nie może mieć uprzedzeń” jest całkowicie błędne. Ale równie błędne jest twierdzenie, że uczenie maszynowe „jest subiektywne z natury”. Uczenie maszynowe odnajduje wzory w danych, a jakie wzory znajdzie, zależy od danych, a dane zależą od nas. Tak samo jak to, co z nimi robimy. Uczenie maszynowe rzeczywiście robi niektóre rzeczy znacznie lepiej niż my — ale psy, na przykład, są znacznie bardziej skuteczne w wykrywaniu narkotyków, co wcale nie jest powodem, aby traktować je jako świadków i wydawać wyroki na podstawie ich zeznań. A psy, nawiasem mówiąc, są znacznie mądrzejsze niż jakikolwiek system uczenia maszynowego.
Tłumaczenie: .
Redakcja: .
Społeczność: .
Źródło: habr.com
