Mengenai Bias Kecerdasan Buatan

tl; dr:

• Pembelajaran mesin mencari corak dalam data. Tetapi kecerdasan buatan boleh menjadi "berat sebelah"—iaitu, cari corak yang salah. Sebagai contoh, sistem pengesanan kanser kulit berasaskan foto mungkin memberi perhatian khusus kepada imej yang diambil di pejabat doktor. Pembelajaran mesin tidak boleh faham: algoritmanya hanya mengenal pasti corak dalam nombor, dan jika data tidak mewakili, begitu juga hasil pemprosesannya. Dan menangkap pepijat sedemikian boleh menjadi sukar kerana mekanisme pembelajaran mesin.
• Bidang masalah yang paling jelas dan menakutkan ialah kepelbagaian manusia. Terdapat banyak sebab mengapa data tentang orang mungkin kehilangan objektiviti walaupun pada peringkat pengumpulan. Tetapi jangan fikir masalah ini hanya memberi kesan kepada orang ramai: kesukaran yang sama timbul apabila cuba mengesan banjir di gudang atau turbin gas yang gagal. Sesetengah sistem mungkin berat sebelah terhadap warna kulit, yang lain akan berat sebelah terhadap penderia Siemens.
• Masalah sebegini bukanlah perkara baru kepada pembelajaran mesin, dan ia jauh daripada unik untuknya. Andaian yang salah dibuat dalam mana-mana struktur yang kompleks, dan memahami mengapa keputusan tertentu dibuat sentiasa sukar. Kita perlu memerangi perkara ini dengan cara yang komprehensif: mencipta alat dan proses untuk pengesahan - dan mendidik pengguna supaya mereka tidak mengikut cadangan AI secara membuta tuli. Pembelajaran mesin melakukan beberapa perkara dengan lebih baik daripada yang kita boleh - tetapi anjing, sebagai contoh, jauh lebih berkesan daripada manusia dalam mengesan dadah, yang bukan alasan untuk menggunakannya sebagai saksi dan membuat pertimbangan berdasarkan keterangan mereka. Dan anjing, dengan cara ini, jauh lebih pintar daripada mana-mana sistem pembelajaran mesin.

Pembelajaran mesin ialah salah satu trend teknologi asas yang paling penting hari ini. Ini adalah salah satu cara utama teknologi akan mengubah dunia di sekeliling kita dalam dekad yang akan datang. Beberapa aspek perubahan ini menimbulkan kebimbangan. Contohnya, potensi kesan pembelajaran mesin ke atas pasaran buruh, atau penggunaannya untuk tujuan yang tidak beretika (contohnya, oleh rejim autoritarian). Terdapat satu lagi masalah yang ditangani oleh siaran ini: bias kecerdasan buatan.

Ini bukan cerita yang mudah.

AI Google boleh mencari kucing. Berita dari 2012 ini adalah sesuatu yang istimewa ketika itu.

Apakah "AI Bias"?

"Data mentah" ialah oxymoron dan idea yang tidak baik; data hendaklah disediakan dengan baik dan teliti. —Geoffrey Boker

Di suatu tempat sebelum 2013, untuk membuat sistem yang, katakan, mengenali kucing dalam gambar, anda perlu menerangkan langkah-langkah logik. Cara mencari sudut dalam imej, mengenali mata, menganalisis tekstur untuk bulu, mengira cakar dan sebagainya. Kemudian satukan semua komponen dan ketahui bahawa ia tidak benar-benar berfungsi. Sama seperti kuda mekanikal - secara teorinya ia boleh dibuat, tetapi dalam praktiknya ia terlalu rumit untuk diterangkan. Hasil akhirnya ialah ratusan (atau bahkan ribuan) peraturan tulisan tangan. Dan bukan satu model yang berfungsi.

Dengan kemunculan pembelajaran mesin, kami berhenti menggunakan peraturan "manual" untuk mengenali objek tertentu. Sebaliknya, kami mengambil seribu sampel "ini", X, seribu sampel "lain", Y, dan meminta komputer membina model berdasarkan analisis statistik mereka. Kami kemudian memberikan model ini beberapa data sampel dan ia menentukan dengan sedikit ketepatan sama ada ia sesuai dengan salah satu set. Pembelajaran mesin menjana model daripada data dan bukannya daripada manusia yang menulisnya. Hasilnya mengagumkan, terutamanya dalam bidang pengecaman imej dan corak, dan itulah sebabnya keseluruhan industri teknologi kini beralih kepada pembelajaran mesin (ML).

Tetapi ia tidak semudah itu. Di dunia nyata, beribu-ribu contoh X atau Y anda juga mengandungi A, B, J, L, O, R, dan juga L. Ini mungkin tidak diagihkan secara sama rata dan sesetengahnya mungkin berlaku begitu kerap sehingga sistem akan membayar lebih perhatian kepada mereka daripada objek yang menarik minat anda.

Apakah maksud ini dalam amalan? Contoh kegemaran saya ialah apabila sistem pengecaman imej lihat bukit berumput dan katakan, "biri-biri". Jelas sebabnya: kebanyakan contoh gambar "biri-biri" diambil di padang rumput tempat mereka tinggal, dan dalam imej ini rumput mengambil lebih banyak ruang daripada bulu putih kecil, dan rumput yang dianggap paling penting oleh sistem .

Terdapat contoh yang lebih serius. Satu yang terbaru projek untuk mengesan kanser kulit dalam gambar. Ternyata pakar dermatologi sering memotret pembaris bersama dengan manifestasi kanser kulit untuk merekodkan saiz pembentukan. Tiada pembaris dalam contoh gambar kulit yang sihat. Untuk sistem AI, pembaris sedemikian (lebih tepat, piksel yang kami takrifkan sebagai "pembaris") telah menjadi salah satu perbezaan antara set contoh, dan kadangkala lebih penting daripada ruam kecil pada kulit. Jadi sistem yang dicipta untuk mengenal pasti kanser kulit kadangkala dikenali sebagai pembaris.

Perkara utama di sini ialah sistem tidak mempunyai pemahaman semantik tentang perkara yang dilihatnya. Kami melihat satu set piksel dan melihat di dalamnya biri-biri, kulit atau pembaris, tetapi sistem itu hanya garis nombor. Dia tidak melihat ruang tiga dimensi, tidak melihat objek, tekstur atau biri-biri. Dia hanya melihat corak dalam data.

Kesukaran untuk mendiagnosis masalah sedemikian ialah rangkaian saraf (model yang dihasilkan oleh sistem pembelajaran mesin anda) terdiri daripada beribu-ribu ratus ribu nod. Tidak ada cara mudah untuk melihat model dan melihat bagaimana ia membuat keputusan. Mempunyai cara sedemikian bermakna prosesnya cukup mudah untuk menerangkan semua peraturan secara manual, tanpa menggunakan pembelajaran mesin. Orang ramai bimbang bahawa pembelajaran mesin telah menjadi seperti kotak hitam. (Saya akan menerangkan sedikit kemudian mengapa perbandingan ini masih terlalu banyak.)

Ini, secara umum, ialah masalah berat sebelah dalam kecerdasan buatan atau pembelajaran mesin: sistem untuk mencari corak dalam data mungkin menemui corak yang salah, dan anda mungkin tidak menyedarinya. Ini adalah ciri asas teknologi, dan ia jelas kepada semua orang yang bekerja dengannya dalam akademik dan di syarikat teknologi besar. Tetapi akibatnya adalah kompleks, dan begitu juga penyelesaian kita yang mungkin untuk akibat tersebut.

Mari kita bercakap tentang akibatnya dahulu.

AI boleh, secara tersirat untuk kita, membuat pilihan yang memihak kepada kategori orang tertentu, berdasarkan sejumlah besar isyarat yang tidak dapat dilihat

Senario Bias AI

Paling jelas dan menakutkan, masalah ini boleh menjelma sendiri apabila ia melibatkan kepelbagaian manusia. Baru-baru ini ada khabar anginbahawa Amazon cuba membina sistem pembelajaran mesin untuk pemeriksaan awal calon pekerjaan. Memandangkan terdapat lebih ramai lelaki dalam kalangan pekerja Amazon, contoh "pengambilan pekerja yang berjaya" juga lebih kerap lelaki, dan terdapat lebih ramai lelaki dalam pemilihan resume yang dicadangkan oleh sistem. Amazon menyedari ini dan tidak mengeluarkan sistem ke dalam pengeluaran.

Perkara yang paling penting dalam contoh ini ialah sistem itu dikhabarkan memihak kepada pemohon lelaki, walaupun hakikatnya jantina tidak dinyatakan pada resume. Sistem ini melihat corak lain dalam contoh "pekerja yang baik": contohnya, wanita mungkin menggunakan perkataan khas untuk menggambarkan pencapaian atau mempunyai hobi istimewa. Sudah tentu, sistem itu tidak tahu apa itu "hoki", atau siapa "orang" itu, atau apa "kejayaan" itu - ia hanya menjalankan analisis statistik teks. Tetapi corak yang dilihatnya berkemungkinan besar tidak disedari oleh manusia, dan sesetengah daripada mereka (contohnya, fakta bahawa orang yang berlainan jantina menggambarkan kejayaan secara berbeza) mungkin sukar untuk kita lihat walaupun kita melihatnya.

Selanjutnya - lebih teruk. Sistem pembelajaran mesin yang sangat baik dalam mencari kanser pada kulit pucat mungkin tidak berfungsi dengan baik pada kulit gelap, atau sebaliknya. Tidak semestinya kerana berat sebelah, tetapi kerana anda mungkin perlu membina model yang berasingan untuk warna kulit yang berbeza, memilih ciri yang berbeza. Sistem pembelajaran mesin tidak boleh ditukar ganti walaupun dalam kawasan yang sempit seperti pengecaman imej. Anda perlu mengubahsuai sistem, kadangkala hanya melalui percubaan dan kesilapan, untuk mendapatkan pengendalian yang baik tentang ciri dalam data yang anda minati sehingga anda mencapai ketepatan yang anda inginkan. Tetapi apa yang anda mungkin tidak perasan ialah sistem itu tepat 98% daripada masa dengan satu kumpulan, dan hanya 91% (malah lebih tepat daripada analisis manusia) dengan kumpulan yang lain.

Setakat ini saya telah menggunakan terutamanya contoh yang berkaitan dengan orang dan ciri-ciri mereka. Perbincangan mengenai masalah ini terutamanya tertumpu kepada topik ini. Tetapi adalah penting untuk memahami bahawa berat sebelah terhadap orang hanyalah sebahagian daripada masalah. Kami akan menggunakan pembelajaran mesin untuk banyak perkara, dan ralat pensampelan akan berkaitan dengan kesemuanya. Sebaliknya, jika anda bekerja dengan orang, berat sebelah dalam data mungkin tidak berkaitan dengan mereka.

Untuk memahami perkara ini, mari kita kembali kepada contoh kanser kulit dan pertimbangkan tiga kemungkinan hipotesis untuk kegagalan sistem.

1. Taburan orang yang heterogen: bilangan gambar yang tidak seimbang dengan warna kulit yang berbeza, yang membawa kepada positif palsu atau negatif palsu disebabkan oleh pigmentasi.
2. Data di mana sistem dilatih mengandungi ciri yang kerap berlaku dan diedarkan secara heterogen yang tidak dikaitkan dengan orang dan tidak mempunyai nilai diagnostik: pembaris dalam gambar kanser kulit atau rumput dalam gambar biri-biri. Dalam kes ini, hasilnya akan berbeza jika sistem menemui piksel dalam imej sesuatu yang dikenal pasti oleh mata manusia sebagai "pembaris".
3. Data tersebut mengandungi ciri pihak ketiga yang tidak dapat dilihat oleh seseorang walaupun dia mencarinya.

Apakah maksudnya? Kami mengetahui secara priori bahawa data mungkin mewakili kumpulan orang yang berbeza secara berbeza, dan sekurang-kurangnya kami boleh merancang untuk mencari pengecualian tersebut. Dalam erti kata lain, terdapat banyak sebab sosial untuk menganggap bahawa data tentang kumpulan orang sudah mengandungi beberapa berat sebelah. Jika kita melihat foto dengan pembaris, kita akan melihat pembaris ini - kita hanya mengabaikannya sebelum ini, mengetahui bahawa ia tidak penting, dan lupa bahawa sistem tidak tahu apa-apa.

Tetapi bagaimana jika semua foto kulit tidak sihat anda diambil di pejabat di bawah lampu pijar, dan kulit sihat anda diambil di bawah cahaya pendarfluor? Bagaimana jika, selepas anda selesai merakam kulit yang sihat, sebelum merakam kulit yang tidak sihat, anda mengemas kini sistem pengendalian pada telefon anda, dan Apple atau Google mengubah sedikit algoritma pengurangan hingar? Seseorang tidak dapat melihat ini, tidak kira betapa dia mencari ciri-ciri tersebut. Tetapi sistem penggunaan mesin akan segera melihat dan menggunakan ini. Dia tidak tahu apa-apa.

Setakat ini kita telah bercakap tentang korelasi palsu, tetapi mungkin juga data itu tepat dan hasilnya betul, tetapi anda tidak mahu menggunakannya atas sebab etika, undang-undang atau pengurusan. Sesetengah bidang kuasa, contohnya, tidak membenarkan wanita menerima diskaun ke atas insurans mereka, walaupun wanita mungkin pemandu yang lebih selamat. Kita boleh membayangkan dengan mudah sistem yang, apabila menganalisis data sejarah, akan memberikan faktor risiko yang lebih rendah kepada nama wanita. Okey, mari kita alih keluar nama daripada pilihan. Tetapi ingat contoh Amazon: sistem boleh menentukan jantina berdasarkan faktor lain (walaupun ia tidak tahu apa itu jantina, malah apa itu kereta), dan anda tidak akan perasan perkara ini sehingga pengawal selia menganalisis secara retroaktif tarif yang anda tawaran dan caj anda anda akan didenda.

Akhir sekali, selalunya diandaikan bahawa kami hanya akan menggunakan sistem sedemikian untuk projek yang melibatkan orang dan interaksi sosial. Ini adalah salah. Jika anda membuat turbin gas, anda mungkin ingin menggunakan pembelajaran mesin pada telemetri yang dihantar oleh puluhan atau ratusan penderia pada produk anda (audio, video, suhu dan mana-mana penderia lain menjana data yang boleh disesuaikan dengan mudah untuk mencipta mesin. model pembelajaran). Secara hipotesis, anda boleh berkata, “Ini adalah data daripada seribu turbin yang gagal sebelum ia gagal, dan ini adalah data daripada seribu turbin yang tidak gagal. Bina model untuk memberitahu perbezaan antara mereka." Nah, sekarang bayangkan bahawa penderia Siemens dipasang pada 75% turbin yang buruk, dan hanya 12% daripada yang baik (tidak ada kaitan dengan kegagalan). Sistem ini akan membina model untuk mencari turbin dengan penderia Siemens. Aduh!

Gambar — Moritz Hardt, UC Berkeley

Menguruskan AI Bias

Apa yang boleh kita lakukan mengenainya? Anda boleh mendekati isu ini dari tiga sudut:

1. Ketegasan metodologi dalam mengumpul dan mengurus data untuk melatih sistem.
2. Alat teknikal untuk menganalisis dan mendiagnosis tingkah laku model.
3. Latih, didik dan berhati-hati apabila melaksanakan pembelajaran mesin ke dalam produk.

Terdapat jenaka dalam buku Molière "The Bourgeois in the Nobility": seorang lelaki diberitahu bahawa kesusasteraan dibahagikan kepada prosa dan puisi, dan dia gembira mengetahui bahawa dia telah bercakap dalam prosa sepanjang hidupnya, tanpa mengetahuinya. Ini mungkin perasaan ahli statistik hari ini: tanpa disedari, mereka telah mendedikasikan kerjaya mereka kepada kecerdasan buatan dan ralat pensampelan. Mencari ralat pensampelan dan membimbangkannya bukanlah masalah baharu, kita hanya perlu mendekati penyelesaiannya secara sistematik. Seperti yang dinyatakan di atas, dalam beberapa kes sebenarnya lebih mudah untuk melakukan ini dengan mengkaji masalah yang berkaitan dengan data orang. Kami a priori menganggap bahawa kami mungkin mempunyai prasangka tentang kumpulan orang yang berbeza, tetapi sukar untuk kami membayangkan prasangka tentang penderia Siemens.

Apa yang baru tentang semua ini, sudah tentu, orang tidak lagi melakukan analisis statistik secara langsung. Ia dijalankan oleh mesin yang mencipta model besar dan kompleks yang sukar difahami. Isu ketelusan adalah salah satu aspek utama dalam masalah berat sebelah. Kami bimbang bahawa sistem itu bukan sahaja berat sebelah, tetapi tidak ada cara untuk mengesan berat sebelahnya, dan pembelajaran mesin adalah berbeza daripada bentuk automasi lain, yang sepatutnya terdiri daripada langkah logik yang jelas yang boleh diuji.

Terdapat dua masalah di sini. Kami mungkin masih boleh menjalankan beberapa jenis audit sistem pembelajaran mesin. Dan mengaudit mana-mana sistem lain sebenarnya tidak mudah.

Pertama, salah satu hala tuju penyelidikan moden dalam bidang pembelajaran mesin ialah mencari kaedah untuk mengenal pasti fungsi penting sistem pembelajaran mesin. Walaupun begitu, pembelajaran mesin (dalam keadaan semasanya) ialah bidang sains yang benar-benar baharu yang berubah dengan cepat, jadi jangan fikir perkara yang mustahil hari ini tidak boleh menjadi nyata. Projek OpenAI - contoh yang menarik tentang ini.

Kedua, idea bahawa seseorang boleh menguji dan memahami proses membuat keputusan sistem atau organisasi sedia ada adalah baik dari segi teori, tetapi begitu-begitu dalam amalan. Memahami bagaimana keputusan dibuat dalam organisasi yang besar bukanlah mudah. Walaupun terdapat proses membuat keputusan rasmi, ia tidak menggambarkan bagaimana orang sebenarnya berinteraksi, dan mereka sendiri sering tidak mempunyai pendekatan yang logik dan sistematik untuk membuat keputusan mereka. Seperti kata rakan sekerja saya Vijay Pande, orang juga kotak hitam.

Ambil seribu orang dalam beberapa syarikat dan institusi yang bertindih, dan masalahnya menjadi lebih kompleks. Kami tahu selepas fakta bahawa Space Shuttle telah ditakdirkan untuk berpecah apabila kembali, dan individu dalam NASA mempunyai maklumat yang memberi mereka alasan untuk berfikir sesuatu yang buruk mungkin berlaku, tetapi sistem secara umum Saya tidak tahu ini. NASA walaupun baru sahaja menjalani audit yang sama selepas kehilangan pesawat ulang-alik sebelumnya, namun ia kehilangan satu lagi kerana sebab yang hampir sama. Sangat mudah untuk berhujah bahawa organisasi dan orang ramai mengikut peraturan yang jelas dan logik yang boleh diuji, difahami dan diubah—tetapi pengalaman membuktikan sebaliknya. ini"Khayalan Gosplan'.

Saya sering membandingkan pembelajaran mesin dengan pangkalan data, terutamanya yang berkaitan - teknologi asas baharu yang telah mengubah keupayaan sains komputer dan dunia di sekelilingnya, yang telah menjadi sebahagian daripada segala-galanya, yang kami gunakan secara berterusan tanpa disedari. Pangkalan data juga mempunyai masalah, dan ia mempunyai sifat yang sama: sistem mungkin dibina berdasarkan andaian buruk atau data buruk, tetapi ia akan menjadi sukar untuk diperhatikan, dan orang yang menggunakan sistem akan melakukan apa yang diberitahu kepada mereka tanpa bertanya soalan. Terdapat banyak jenaka lama tentang orang cukai yang pernah mengeja nama anda dengan salah, dan meyakinkan mereka untuk membetulkan kesilapan adalah lebih sukar daripada menukar nama anda. Terdapat banyak cara untuk memikirkan perkara ini, tetapi tidak jelas yang mana lebih baik: sebagai masalah teknikal dalam SQL, atau sebagai pepijat dalam keluaran Oracle, atau sebagai kegagalan institusi birokrasi? Betapa sukarnya untuk mencari pepijat dalam proses yang menyebabkan sistem tidak mempunyai ciri pembetulan kesilapan menaip? Mungkinkah ini telah diketahui sebelum orang ramai mula mengadu?

Masalah ini digambarkan dengan lebih mudah melalui cerita apabila pemandu memandu ke sungai kerana data lapuk dalam pelayar. Okey, peta perlu sentiasa dikemas kini. Tetapi berapa banyak yang perlu dipersalahkan oleh TomTom kerana kereta anda diterbangkan ke laut?

Sebab saya katakan ini ialah ya, berat sebelah pembelajaran mesin akan menimbulkan masalah. Tetapi masalah ini akan serupa dengan yang pernah kita hadapi pada masa lalu, dan ia boleh diperhatikan dan diselesaikan (atau tidak) seperti yang kita dapat lakukan pada masa lalu. Oleh itu, senario di mana kecenderungan AI menyebabkan kemudaratan tidak mungkin berlaku kepada penyelidik kanan yang bekerja dalam organisasi besar. Kemungkinan besar, beberapa kontraktor teknologi atau vendor perisian yang tidak penting akan menulis sesuatu di atas lutut mereka, menggunakan komponen sumber terbuka, perpustakaan dan alatan yang mereka tidak fahami. Dan pelanggan yang tidak bernasib baik akan membeli frasa "kecerdasan buatan" dalam penerangan produk dan, tanpa bertanya apa-apa soalan, mengedarkannya kepada pekerjanya yang bergaji rendah, mengarahkan mereka melakukan apa yang AI ​​katakan. Inilah yang berlaku dengan pangkalan data. Ini bukan masalah kecerdasan buatan, malah masalah perisian. Ini adalah faktor manusia.

Kesimpulan

Pembelajaran mesin boleh melakukan apa sahaja yang anda boleh mengajar anjing - tetapi anda tidak boleh pasti apa sebenarnya yang anda ajar anjing itu.

Saya sering merasakan istilah "kecerdasan buatan" hanya menghalang perbualan seperti ini. Istilah ini memberikan tanggapan palsu bahawa kami sebenarnya menciptanya - kepintaran ini. Bahawa kami dalam perjalanan ke HAL9000 atau Skynet - sesuatu yang sebenarnya faham. Tetapi tidak. Ini hanyalah mesin, dan adalah lebih tepat untuk membandingkannya dengan, katakan, mesin basuh. Dia mencuci pakaian jauh lebih baik daripada manusia, tetapi jika anda meletakkan pinggan mangkuk ke dalamnya dan bukannya mencuci pakaian, dia... akan membasuhnya. Pinggan mangkuk akan menjadi bersih. Tetapi ini tidak akan seperti yang anda jangkakan, dan ini tidak akan berlaku kerana sistem mempunyai sebarang prasangka mengenai hidangan. Mesin basuh tidak tahu apa itu hidangan atau pakaian apa - ia hanyalah satu contoh automasi, secara konsepnya tidak berbeza dengan cara proses diautomasikan sebelum ini.

Sama ada kita bercakap tentang kereta, kapal terbang atau pangkalan data, sistem ini akan menjadi sangat berkuasa dan sangat terhad. Mereka akan bergantung sepenuhnya pada cara orang menggunakan sistem ini, sama ada niat mereka baik atau buruk, dan sejauh mana mereka memahami cara mereka berfungsi.

Oleh itu, untuk mengatakan bahawa "kecerdasan buatan adalah matematik, jadi ia tidak boleh mempunyai berat sebelah" adalah salah sama sekali. Tetapi adalah sama palsu untuk mengatakan bahawa pembelajaran mesin adalah "bersifat subjektif." Pembelajaran mesin mencari corak dalam data, dan corak yang ditemuinya bergantung pada data dan data bergantung kepada kami. Sama seperti apa yang kita lakukan dengan mereka. Pembelajaran mesin melakukan beberapa perkara dengan lebih baik daripada yang kita boleh - tetapi anjing, sebagai contoh, jauh lebih berkesan daripada manusia dalam mengesan dadah, yang bukan alasan untuk menggunakannya sebagai saksi dan membuat pertimbangan berdasarkan keterangan mereka. Dan anjing, dengan cara ini, jauh lebih pintar daripada mana-mana sistem pembelajaran mesin.

Terjemahan: Diana Letskaya.
Suntingan: Aleksey Ivanov.
Komuniti: @PonchikNews.

Sumber: www.habr.com