tl; dr:
- Uczenie maszynowe szuka wzorców w danych. Jednak sztuczna inteligencja może być „stronnicza” – to znaczy znajdować błędne wzorce. Na przykład system wykrywania raka skóry oparty na zdjęciach może zwracać szczególną uwagę na zdjęcia wykonane w gabinecie lekarskim. Uczenie maszynowe nie może zrozumieć: jego algorytmy identyfikują jedynie wzorce w liczbach, a jeśli dane nie są reprezentatywne, taki będzie również wynik ich przetwarzania. A wyłapanie takich błędów może być trudne ze względu na samą mechanikę uczenia maszynowego.
- Najbardziej oczywistym i budzącym grozę problemem jest różnorodność ludzka. Istnieje wiele powodów, dla których dane o osobach mogą utracić obiektywność już na etapie ich gromadzenia. Ale nie myśl, że ten problem dotyczy tylko ludzi: dokładnie te same trudności pojawiają się, gdy próbujemy wykryć powódź w magazynie lub awarię turbiny gazowej. Niektóre systemy mogą być zorientowane na kolor skóry, inne na czujniki Siemens.
- Takie problemy nie są niczym nowym w uczeniu maszynowym i nie są w nim wyjątkowe. W przypadku każdej złożonej struktury przyjmuje się błędne założenia, a zrozumienie, dlaczego podjęto konkretną decyzję, jest zawsze trudne. Musimy z tym walczyć kompleksowo: stworzyć narzędzia i procesy weryfikacji – oraz edukować użytkowników, aby nie ślepo podążali za zaleceniami AI. Uczenie maszynowe faktycznie radzi sobie z niektórymi rzeczami znacznie lepiej niż my, ale na przykład psy są znacznie skuteczniejsze od ludzi w wykrywaniu narkotyków, co nie jest powodem, aby wykorzystywać je w charakterze świadków i wydawać osądy na podstawie ich zeznań. Nawiasem mówiąc, psy są znacznie mądrzejsze niż jakikolwiek system uczenia maszynowego.
Uczenie maszynowe jest dziś jednym z najważniejszych i fundamentalnych trendów technologicznych. Jest to jeden z głównych sposobów, w jaki technologia zmieni otaczający nas świat w nadchodzącej dekadzie. Niektóre aspekty tych zmian budzą niepokój. Np. potencjalny wpływ uczenia maszynowego na rynek pracy, czy jego wykorzystanie do celów nieetycznych (np. przez reżimy autorytarne). Jest jeszcze jeden problem, który porusza ten post: stronniczość sztucznej inteligencji.
To nie jest łatwa historia.
Sztuczna inteligencja Google może znaleźć koty. Ta wiadomość z 2012 roku była wówczas czymś wyjątkowym.
Co to jest „stronniczość AI”?
„Surowe dane” to zarówno oksymoron, jak i zły pomysł; dane muszą być przygotowane dobrze i starannie. —Geoffrey Boker
Gdzieś przed 2013 rokiem, aby stworzyć system, który na przykład rozpoznaje koty na zdjęciach, trzeba było opisać logiczne kroki. Jak znajdować rogi obrazu, rozpoznawać oczy, analizować teksturę futra, liczyć łapy i tak dalej. Następnie złóż wszystkie elementy w całość i odkryj, że to tak naprawdę nie działa. Podobnie jak mechaniczny koń – teoretycznie można go zrobić, ale w praktyce jest to zbyt skomplikowane, aby go opisać. Efektem końcowym są setki (a nawet tysiące) odręcznie napisanych zasad. I ani jednego działającego modelu.
Wraz z pojawieniem się uczenia maszynowego przestaliśmy używać „ręcznych” reguł rozpoznawania konkretnego obiektu. Zamiast tego bierzemy tysiąc próbek „tego”, X, tysiąc próbek „innego”, Y i pozwalamy komputerowi zbudować model na podstawie ich analizy statystycznej. Następnie podajemy temu modelowi przykładowe dane, a on z pewną precyzją określa, czy pasuje do jednego ze zbiorów. Uczenie maszynowe generuje model na podstawie danych, a nie na podstawie piszącego go człowieka. Wyniki są imponujące, szczególnie w obszarze rozpoznawania obrazów i wzorców, dlatego cała branża technologiczna przechodzi obecnie na uczenie maszynowe (ML).
Ale to nie jest takie proste. W prawdziwym świecie tysiące przykładów X lub Y zawierają również A, B, J, L, O, R, a nawet L. Mogą one nie być równomiernie rozłożone, a niektóre mogą występować tak często, że system zapłaci więcej uwagę na nie, a nie na przedmioty, które Cię interesują.
Co to oznacza w praktyce? Moim ulubionym przykładem są systemy rozpoznawania obrazu . Jasne jest dlaczego: większość przykładowych zdjęć „owiec” została zrobiona na łąkach, na których żyją, a na tych zdjęciach trawa zajmuje znacznie więcej miejsca niż małe białe kłaczki i to właśnie trawa jest uważana przez system za najważniejszą .
Są poważniejsze przykłady. Jeden, niedawny do wykrywania raka skóry na zdjęciach. Okazało się, że dermatolodzy często fotografują linijkę wraz z objawami raka skóry, aby zarejestrować wielkość formacji. Na przykładowych zdjęciach zdrowej skóry nie ma linijek. W przypadku systemu AI takie linijki (dokładniej piksele, które definiujemy jako „linijkę”) stały się jedną z różnic między zestawami przykładów, a czasem ważniejszą niż niewielka wysypka na skórze. Tak więc system stworzony w celu identyfikacji raka skóry czasami uznawał zamiast tego władców.
Kluczową kwestią jest to, że system nie ma semantycznego zrozumienia tego, na co patrzy. Patrzymy na zbiór pikseli i widzimy w nich owcę, skórę lub linijki, ale system to tylko oś liczbowa. Nie widzi trójwymiarowej przestrzeni, nie widzi obiektów, tekstur, owiec. Ona po prostu widzi wzorce w danych.
Trudność w diagnozowaniu takich problemów polega na tym, że sieć neuronowa (model wygenerowany przez system uczenia maszynowego) składa się z tysięcy setek tysięcy węzłów. Nie ma łatwego sposobu, aby przyjrzeć się modelowi i zobaczyć, jak podejmuje decyzję. Posiadanie takiego sposobu oznaczałoby, że proces jest na tyle prosty, że można opisać wszystkie reguły ręcznie, bez korzystania z uczenia maszynowego. Ludzie obawiają się, że uczenie maszynowe stało się czymś w rodzaju czarnej skrzynki. (Nieco później wyjaśnię, dlaczego to porównanie jest wciąż za duże.)
Ogólnie rzecz biorąc, jest to problem stronniczości w sztucznej inteligencji lub uczeniu maszynowym: system wyszukiwania wzorców w danych może znaleźć nieprawidłowe wzorce i możesz tego nie zauważyć. Jest to podstawowa cecha tej technologii i jest oczywista dla każdego, kto pracuje z nią w środowisku akademickim i w dużych firmach technologicznych. Ale jego konsekwencje są złożone, podobnie jak nasze możliwe rozwiązania tych konsekwencji.
Porozmawiajmy najpierw o konsekwencjach.
Sztuczna inteligencja może, w domyśle dla nas, dokonać wyboru na korzyść określonych kategorii osób na podstawie dużej liczby niedostrzegalnych sygnałów
Scenariusze odchylenia AI
W najbardziej oczywisty i przerażający sposób problem ten może ujawnić się, gdy w grę wchodzi różnorodność ludzka. Ostatnio że Amazon próbował zbudować system uczenia maszynowego do wstępnej selekcji kandydatów do pracy. Ponieważ wśród pracowników Amazona jest więcej mężczyzn, przykładami „udanego zatrudnienia” są także częściej mężczyźni, a w selekcji CV sugerowanych przez system było więcej mężczyzn. Amazon to zauważył i nie wypuścił systemu do produkcji.
Najważniejszą rzeczą w tym przykładzie jest to, że krążyły plotki, że system faworyzuje kandydatów płci męskiej, mimo że w CV nie określono płci. System dostrzegł inne wzorce w przykładach „dobrych pracowników”: na przykład kobiety mogły używać specjalnych słów do opisania osiągnięć lub mieć specjalne hobby. Oczywiście system nie wiedział, czym jest „hokej”, kim są „ludzie” ani czym jest „sukces” - po prostu przeprowadził analizę statystyczną tekstu. Jednak wzorce, które dostrzegła, najprawdopodobniej pozostałyby niezauważone przez ludzi, a niektóre z nich (na przykład fakt, że osoby różnej płci odmiennie opisują sukces) prawdopodobnie byłyby dla nas trudne do dostrzeżenia, nawet gdybyśmy na nie spojrzeli.
Dalej - gorzej. System uczenia maszynowego, który bardzo dobrze wykrywa raka na bladej skórze, może nie działać tak dobrze na ciemnej skórze i odwrotnie. Niekoniecznie z powodu uprzedzeń, ale dlatego, że prawdopodobnie trzeba zbudować osobny model dla innego koloru skóry, wybierając inne cechy. Systemy uczenia maszynowego nie są wymienne nawet w tak wąskim obszarze jak rozpoznawanie obrazu. Musisz ulepszyć system, czasami metodą prób i błędów, aby dobrze opanować funkcje danych, które Cię interesują, aż do osiągnięcia pożądanej dokładności. Ale możesz nie zauważyć, że system jest dokładny w 98% przypadków w przypadku jednej grupy i tylko w 91% (nawet jeśli jest dokładniejszy niż analiza przeprowadzona przez człowieka) w przypadku drugiej.
Do tej pory posługiwałem się głównie przykładami dotyczącymi ludzi i ich cech charakterystycznych. Dyskusja wokół tego problemu koncentruje się głównie na tym temacie. Ale ważne jest, aby zrozumieć, że uprzedzenia wobec ludzi to tylko część problemu. Będziemy używać uczenia maszynowego do wielu rzeczy, a błąd próbkowania będzie istotny w każdym z nich. Z drugiej strony, jeśli pracujesz z ludźmi, błąd w danych może nie być z nimi powiązany.
Aby to zrozumieć, wróćmy do przykładu raka skóry i rozważmy trzy hipotetyczne możliwości awarii systemu.
- Heterogeniczne rozmieszczenie ludzi: niezrównoważona liczba zdjęć o różnych odcieniach skóry, co prowadzi do fałszywie pozytywnych lub fałszywie negatywnych wyników z powodu pigmentacji.
- Dane, na których szkolony jest system, zawierają często występującą i niejednorodnie rozłożoną cechę, która nie jest kojarzona z ludźmi i nie ma wartości diagnostycznej: linijka na zdjęciach raka skóry czy trawa na zdjęciach owiec. W tym przypadku wynik będzie inny, jeśli system znajdzie piksele na obrazie czegoś, co ludzkie oko zidentyfikuje jako „linijkę”.
- Dane zawierają cechę strony trzeciej, której dana osoba nie może zobaczyć, nawet jeśli jej szuka.
Co to znaczy? Wiemy a priori, że dane mogą w różny sposób reprezentować różne grupy ludzi i możemy przynajmniej zaplanować poszukiwanie takich wyjątków. Innymi słowy, istnieje wiele powodów społecznych, aby zakładać, że dane dotyczące grup ludzi już zawierają pewne stronniczość. Jeśli spojrzymy na zdjęcie z linijką, zobaczymy tę linijkę – wcześniej po prostu ją ignorowaliśmy, wiedząc, że to nie ma znaczenia, a zapominając, że system nic nie wie.
Ale co by było, gdyby wszystkie zdjęcia niezdrowej skóry zostały zrobione w biurze przy świetle żarowym, a zdrowa skóra została zrobiona w świetle fluorescencyjnym? A co jeśli po zakończeniu zdjęć zdrowej skóry, przed zrobieniem zdjęć niezdrowej skóry, zaktualizowałeś system operacyjny w swoim telefonie, a Apple lub Google nieznacznie zmieniły algorytm redukcji szumów? Osoba nie może tego zauważyć, bez względu na to, jak bardzo szuka takich cech. Ale system obsługi maszyny natychmiast to zobaczy i wykorzysta. Ona nic nie wie.
Do tej pory mówiliśmy o fałszywych korelacjach, ale może się też zdarzyć, że dane są dokładne, a wyniki prawidłowe, ale nie chcesz ich używać ze względów etycznych, prawnych lub związanych z zarządzaniem. Na przykład niektóre jurysdykcje nie zezwalają kobietom na otrzymywanie zniżki na ubezpieczenie, mimo że kobiety mogą być bezpieczniejszymi kierowcami. Łatwo sobie wyobrazić system, który analizując dane historyczne przypisywałby imionom żeńskim niższy czynnik ryzyka. OK, usuńmy nazwiska z wyboru. Pamiętaj jednak o przykładzie Amazona: system może określić płeć na podstawie innych czynników (nawet jeśli nie wie, czym jest płeć ani nawet czym jest samochód), a Ty nie zauważysz tego, dopóki organ regulacyjny nie przeanalizuje z mocą wsteczną stawek, które pobierasz oferty i opłat, zostaniesz ukarany grzywną.
Wreszcie często zakłada się, że będziemy używać takich systemów tylko w projektach, które angażują ludzi i interakcje społeczne. To jest źle. Jeśli produkujesz turbiny gazowe, prawdopodobnie będziesz chciał zastosować uczenie maszynowe do danych telemetrycznych przesyłanych przez dziesiątki lub setki czujników Twojego produktu (audio, wideo, temperatura i wszelkie inne czujniki generują dane, które można bardzo łatwo dostosować do stworzenia maszyny model uczenia się). Hipotetycznie można powiedzieć: „Oto dane dotyczące tysiąca turbin, które uległy awarii przed awarią, a oto dane dotyczące tysiąca turbin, które nie uległy awarii. Zbuduj model, aby pokazać, jaka jest między nimi różnica. No to teraz wyobraźcie sobie, że czujniki Siemensa są zamontowane na 75% złych turbin, a tylko 12% dobrych (nie ma to żadnego związku z awariami). System zbuduje model do wyszukiwania turbin z czujnikami Siemensa. Ups!
Zdjęcie — Moritz Hardt, Uniwersytet Kalifornijski w Berkeley
Zarządzanie stronniczością AI
Co możemy z tym zrobić? Do problemu można podejść z trzech stron:
- Rygor metodologiczny w gromadzeniu i zarządzaniu danymi w celu szkolenia systemu.
- Narzędzia techniczne do analizy i diagnozowania zachowania modelu.
- Szkoluj, edukuj i zachowaj ostrożność podczas wdrażania uczenia maszynowego do produktów.
W książce Moliera „Mieszczanin w szlachcie” jest taki dowcip: jednemu człowiekowi powiedziano, że literatura dzieli się na prozę i poezję, i z radością odkrył, że przez całe życie mówił prozą, nie zdając sobie z tego sprawy. Prawdopodobnie tak właśnie czują się dziś statystycy: nie zdając sobie z tego sprawy, poświęcili swoje kariery sztucznej inteligencji i błędom próbkowania. Szukanie błędu próbkowania i zamartwianie się nim nie jest problemem nowym, wystarczy systematycznie podchodzić do jego rozwiązania. Jak wspomniano powyżej, w niektórych przypadkach faktycznie łatwiej jest to zrobić, analizując problemy związane z danymi ludzi. Zakładamy a priori, że możemy mieć uprzedzenia co do różnych grup ludzi, ale trudno nam nawet wyobrazić sobie uprzedzenia wobec czujników Siemensa.
Nowością w tym wszystkim jest oczywiście to, że ludzie nie zajmują się już bezpośrednio analizami statystycznymi. Dokonują tego maszyny, które tworzą duże, złożone modele, które są trudne do zrozumienia. Kwestia przejrzystości jest jednym z głównych aspektów problemu stronniczości. Obawiamy się, że system jest nie tylko stronniczy, ale że nie można wykryć jego stronniczości, a uczenie maszynowe różni się od innych form automatyzacji, które mają składać się z jasnych, logicznych kroków, które można przetestować.
Są tu dwa problemy. Być może nadal będziemy w stanie przeprowadzić pewnego rodzaju audyt systemów uczenia maszynowego. Audyt dowolnego innego systemu w rzeczywistości nie jest łatwiejszy.
Po pierwsze, jednym z kierunków współczesnych badań w obszarze uczenia maszynowego jest poszukiwanie metod identyfikacji istotnych funkcjonalności systemów uczenia maszynowego. To powiedziawszy, uczenie maszynowe (w obecnym stanie) to zupełnie nowa dziedzina nauki, która szybko się zmienia, więc nie myśl, że rzeczy, które dziś są niemożliwe, wkrótce nie staną się całkiem realne. Projekt – ciekawy przykład.
Po drugie, pomysł, że można przetestować i zrozumieć proces decyzyjny istniejących systemów lub organizacji, jest dobry w teorii, ale w praktyce nie jest tak. Zrozumienie sposobu podejmowania decyzji w dużej organizacji nie jest łatwe. Nawet jeśli istnieje formalny proces podejmowania decyzji, nie odzwierciedla on rzeczywistych interakcji między ludźmi, a oni sami często nie mają logicznego, systematycznego podejścia do podejmowania decyzji. Tak jak powiedział mój kolega , ludzie to też czarne skrzynki.
Weź tysiąc osób w kilku nakładających się na siebie firmach i instytucjach, a problem stanie się jeszcze bardziej złożony. Wiemy po tym, że prom kosmiczny miał się rozbić po powrocie, a osoby w NASA posiadały informacje, które dawały im podstawy sądzić, że może stać się coś złego, ale system ogólnie Nie wiedziałem tego. NASA właśnie przeszła podobny audyt po utracie poprzedniego wahadłowca, a mimo to straciła kolejny z bardzo podobnego powodu. Łatwo argumentować, że organizacje i ludzie przestrzegają jasnych, logicznych zasad, które można przetestować, zrozumieć i zmienić – ale doświadczenie pokazuje, że jest inaczej. Ten "".
Często porównuję uczenie maszynowe do baz danych, szczególnie relacyjnych – nowej, fundamentalnej technologii, która zmieniła możliwości informatyki i otaczającego ją świata, która stała się częścią wszystkiego, z czego stale, nie zdając sobie z tego sprawy, korzystamy. Z bazami danych też są problemy i są one podobnej natury: system może być zbudowany na błędnych założeniach lub na błędnych danych, ale będzie to trudne do zauważenia, a osoby korzystające z systemu będą robić to, co im każe, bez zadawania pytań. Istnieje wiele starych dowcipów na temat urzędników podatkowych, którzy kiedyś błędnie przeliterowali Twoje imię i nazwisko, a przekonanie ich do poprawienia błędu jest znacznie trudniejsze niż faktyczna zmiana nazwiska. Można o tym myśleć na wiele sposobów, ale nie jest jasne, co jest lepsze: problem techniczny SQL, błąd w wersji Oracle, czy też porażka instytucji biurokratycznych? Jak trudno jest znaleźć błąd w procesie, który spowodował, że system nie posiada funkcji poprawiania literówek? Czy można było to rozwiązać, zanim ludzie zaczęli narzekać?
Problem ten jeszcze prościej ilustrują historie, w których kierowcy wjeżdżają do rzek z powodu nieaktualnych danych w nawigatorze. OK, mapy trzeba stale aktualizować. Ale w jakim stopniu TomTom jest winny tego, że Twój samochód został wyrzucony do morza?
Mówię to dlatego, że tak, błąd uczenia maszynowego będzie stwarzał problemy. Ale te problemy będą podobne do tych, z którymi mieliśmy do czynienia w przeszłości i można je zauważyć i rozwiązać (lub nie) równie dobrze, jak robiliśmy to w przeszłości. Dlatego scenariusz, w którym stronniczość sztucznej inteligencji powoduje szkody, jest mało prawdopodobny w przypadku starszych badaczy pracujących w dużej organizacji. Najprawdopodobniej jakiś mało znaczący wykonawca technologii lub sprzedawca oprogramowania napisze coś na kolanach, korzystając z komponentów, bibliotek i narzędzi open source, których nie rozumie. A pechowy klient kupi w opisie produktu frazę „sztuczna inteligencja” i bez zadawania pytań rozda ją swoim nisko opłacanym pracownikom, nakazując im wykonanie tego, co mówi sztuczna inteligencja. Tak właśnie stało się z bazami danych. Nie jest to problem sztucznej inteligencji ani nawet problem z oprogramowaniem. To jest czynnik ludzki.
wniosek
Uczenie maszynowe może zrobić wszystko, czego możesz nauczyć psa, ale nigdy nie możesz być pewien, czego dokładnie nauczyłeś psa.
Często mam wrażenie, że termin „sztuczna inteligencja” tylko przeszkadza w takich rozmowach. Termin ten sprawia fałszywe wrażenie, że faktycznie go stworzyliśmy – tę inteligencję. Że jesteśmy w drodze do HAL9000 lub Skynet – faktycznie coś takiego rozumie. Ale nie. To tylko maszyny i o wiele trafniejsze jest porównanie ich, powiedzmy, z pralką. Robi pranie znacznie lepiej niż człowiek, ale jeśli zamiast prania włożysz do niej naczynia, ona... je umyje. Naczynia staną się nawet czyste. Ale to nie będzie to, czego się spodziewałeś i tak się nie stanie, ponieważ system ma jakiekolwiek uprzedzenia dotyczące potraw. Pralka nie wie, jakie są naczynia i jakie są ubrania – to tylko przykład automatyzacji, koncepcyjnie nie różniącej się od tego, jak wcześniej automatyzowano procesy.
Niezależnie od tego, czy mówimy o samochodach, samolotach czy bazach danych, systemy te będą zarówno bardzo wydajne, jak i bardzo ograniczone. Będą one całkowicie zależeć od tego, jak ludzie korzystają z tych systemów, czy ich intencje są dobre, czy złe i na ile rozumieją, jak działają.
Dlatego twierdzenie, że „sztuczna inteligencja to matematyka, więc nie może mieć uprzedzeń” jest całkowicie fałszywe. Jednak równie fałszywe jest twierdzenie, że uczenie maszynowe ma „subiektywny charakter”. Uczenie maszynowe znajduje wzorce w danych, a to, jakie wzorce znajdzie, zależy od danych, a dane zależą od nas. Podobnie jak to, co z nimi robimy. Uczenie maszynowe faktycznie radzi sobie z niektórymi rzeczami znacznie lepiej niż my, ale na przykład psy są znacznie skuteczniejsze od ludzi w wykrywaniu narkotyków, co nie jest powodem, aby wykorzystywać je w charakterze świadków i wydawać osądy na podstawie ich zeznań. Nawiasem mówiąc, psy są znacznie mądrzejsze niż jakikolwiek system uczenia maszynowego.
Tłumaczenie: .
Redagowanie: .
Społeczność: .
Źródło: www.habr.com