tl; dr:
- Pembelajaran mesin mencari pola dalam data. Namun kecerdasan buatan bisa saja “bias”—yakni menemukan pola yang salah. Misalnya, sistem deteksi kanker kulit berbasis foto mungkin memberikan perhatian khusus pada gambar yang diambil di ruang praktik dokter. Pembelajaran mesin tidak bisa untuk mengerti: algoritmanya hanya mengidentifikasi pola dalam angka, dan jika datanya tidak representatif, maka hasil pengolahannya juga akan ikut terwakili. Dan menangkap bug semacam itu bisa jadi sulit karena mekanisme pembelajaran mesin.
- Masalah yang paling nyata dan menakutkan adalah keberagaman manusia. Ada banyak alasan mengapa data tentang seseorang mungkin kehilangan objektivitasnya bahkan pada tahap pengumpulan. Namun jangan berpikir bahwa masalah ini hanya berdampak pada manusia: kesulitan yang sama juga muncul ketika mencoba mendeteksi banjir di gudang atau turbin gas yang rusak. Beberapa sistem mungkin bias terhadap warna kulit, sistem lainnya mungkin bias terhadap sensor Siemens.
- Masalah seperti ini bukanlah hal baru dalam pembelajaran mesin, dan tidak hanya terjadi dalam pembelajaran mesin. Asumsi yang salah dibuat dalam struktur kompleks apa pun, dan memahami mengapa keputusan tertentu dibuat selalu sulit. Kita perlu mengatasi hal ini dengan cara yang komprehensif: menciptakan alat dan proses untuk verifikasi - dan mendidik pengguna agar mereka tidak mengikuti rekomendasi AI begitu saja. Pembelajaran mesin memang melakukan beberapa hal jauh lebih baik daripada yang kita bisa - tetapi anjing, misalnya, jauh lebih efektif daripada manusia dalam mendeteksi narkoba, yang bukan merupakan alasan untuk menggunakan mereka sebagai saksi dan membuat penilaian berdasarkan kesaksian mereka. Dan omong-omong, anjing jauh lebih pintar daripada sistem pembelajaran mesin mana pun.
Pembelajaran mesin adalah salah satu tren teknologi mendasar yang paling penting saat ini. Ini adalah salah satu cara utama teknologi akan mengubah dunia di sekitar kita dalam dekade mendatang. Beberapa aspek dari perubahan ini menimbulkan kekhawatiran. Misalnya, potensi dampak pembelajaran mesin terhadap pasar tenaga kerja, atau penggunaannya untuk tujuan yang tidak etis (misalnya, oleh rezim otoriter). Ada masalah lain yang dibahas dalam postingan ini: bias kecerdasan buatan.
Ini bukanlah cerita yang mudah.
AI Google dapat menemukan kucing. Berita dari tahun 2012 ini merupakan sesuatu yang istimewa saat itu.
Apa itu “Bias AI”?
“Data mentah” adalah sebuah oxymoron dan ide yang buruk; data harus dipersiapkan dengan baik dan hati-hati. —Geoffrey Boker
Sebelum tahun 2013, untuk membuat sistem yang, misalnya, mengenali kucing dalam foto, Anda harus menjelaskan langkah-langkah logis. Bagaimana menemukan sudut pada gambar, mengenali mata, menganalisis tekstur bulu, menghitung kaki, dan sebagainya. Kemudian satukan semua komponen dan temukan bahwa itu tidak benar-benar berfungsi. Mirip seperti kuda mekanik - secara teoritis dapat dibuat, namun dalam praktiknya terlalu rumit untuk dijelaskan. Hasil akhirnya adalah ratusan (atau bahkan ribuan) aturan tulisan tangan. Dan tidak ada satu pun model yang berfungsi.
Dengan munculnya pembelajaran mesin, kami berhenti menggunakan aturan “manual” untuk mengenali objek tertentu. Sebagai gantinya, kami mengambil seribu sampel “ini”, X, seribu sampel “lainnya”, Y, dan meminta komputer membangun model berdasarkan analisis statistiknya. Kami kemudian memberikan model ini beberapa data sampel dan model ini menentukan dengan tepat apakah model tersebut cocok dengan salah satu kumpulan. Pembelajaran mesin menghasilkan model dari data, bukan dari manusia yang menulisnya. Hasilnya mengesankan, terutama di bidang pengenalan gambar dan pola, dan itulah sebabnya seluruh industri teknologi kini beralih ke pembelajaran mesin (ML).
Tapi itu tidak sesederhana itu. Di dunia nyata, ribuan contoh X atau Y Anda juga mengandung A, B, J, L, O, R, dan bahkan L. Ini mungkin tidak terdistribusi secara merata, dan beberapa mungkin terjadi begitu sering sehingga sistem akan membayar lebih perhatian pada mereka daripada pada objek yang menarik minat Anda.
Apa artinya ini dalam praktiknya? Contoh favorit saya adalah ketika sistem pengenalan gambar . Alasannya jelas: sebagian besar contoh foto "domba" diambil di padang rumput tempat mereka tinggal, dan dalam gambar ini rumput memakan lebih banyak ruang daripada bulu putih kecil, dan rumputlah yang dianggap paling penting oleh sistem. .
Ada contoh yang lebih serius. Satu yang baru-baru ini untuk mendeteksi kanker kulit dalam foto. Ternyata para dokter kulit kerap memotret penggaris beserta manifestasi kanker kulit untuk mencatat besar kecilnya formasi tersebut. Tidak ada penggaris pada contoh foto kulit sehat. Untuk sistem AI, penggaris seperti itu (lebih tepatnya, piksel yang kita definisikan sebagai “penggaris”) telah menjadi salah satu pembeda di antara kumpulan contoh, dan terkadang lebih penting daripada ruam kecil di kulit. Jadi sistem yang diciptakan untuk mengidentifikasi kanker kulit terkadang malah mengenali penguasa.
Poin kuncinya di sini adalah sistem tidak memiliki pemahaman semantik tentang apa yang dilihatnya. Kita melihat sekumpulan piksel dan melihat di dalamnya seekor domba, kulit, atau penggaris, tetapi sistemnya hanyalah garis bilangan. Dia tidak melihat ruang tiga dimensi, tidak melihat objek, tekstur, atau domba. Dia hanya melihat pola dalam data.
Kesulitan dalam mendiagnosis masalah seperti itu adalah jaringan saraf (model yang dihasilkan oleh sistem pembelajaran mesin Anda) terdiri dari ribuan, ratusan ribu node. Tidak ada cara mudah untuk melihat model dan melihat bagaimana model tersebut mengambil keputusan. Memiliki cara seperti itu berarti prosesnya cukup sederhana untuk menjelaskan semua aturan secara manual, tanpa menggunakan pembelajaran mesin. Orang-orang khawatir bahwa pembelajaran mesin telah menjadi semacam kotak hitam. (Saya akan menjelaskannya nanti mengapa perbandingan ini masih terlalu berlebihan.)
Secara umum, ini adalah masalah bias dalam kecerdasan buatan atau pembelajaran mesin: sistem untuk menemukan pola dalam data mungkin menemukan pola yang salah, dan Anda mungkin tidak menyadarinya. Ini adalah karakteristik mendasar dari teknologi, dan jelas bagi semua orang yang bekerja dengannya di dunia akademis dan perusahaan teknologi besar. Namun konsekuensinya rumit, begitu pula kemungkinan solusi kita terhadap konsekuensi tersebut.
Mari kita bicara tentang konsekuensinya terlebih dahulu.
AI dapat, secara implisit bagi kita, membuat pilihan yang mendukung kategori orang tertentu, berdasarkan sejumlah besar sinyal yang tidak terlihat.
Skenario Bias AI
Yang paling jelas dan menakutkan adalah masalah ini dapat muncul ketika menyangkut keberagaman manusia. Baru-baru ini bahwa Amazon mencoba membangun sistem pembelajaran mesin untuk penyaringan awal kandidat pekerjaan. Karena terdapat lebih banyak laki-laki di kalangan pekerja Amazon, contoh “perekrutan yang berhasil” juga lebih sering dilakukan oleh laki-laki, dan terdapat lebih banyak laki-laki dalam pemilihan resume yang disarankan oleh sistem. Amazon memperhatikan hal ini dan tidak merilis sistem ke dalam produksi.
Hal terpenting dalam contoh ini adalah bahwa sistem tersebut dikabarkan lebih menguntungkan pelamar laki-laki, meskipun faktanya gender tidak disebutkan dalam resume. Sistem ini melihat pola lain dalam contoh “perekrutan yang baik”: misalnya, perempuan mungkin menggunakan kata-kata khusus untuk menggambarkan pencapaian, atau memiliki hobi khusus. Tentu saja, sistem tidak mengetahui apa itu "hoki", atau siapa "orang", atau apa "sukses" - sistem hanya melakukan analisis statistik terhadap teks tersebut. Namun pola yang dilihatnya kemungkinan besar tidak diperhatikan oleh manusia, dan beberapa di antaranya (misalnya, fakta bahwa orang dengan gender berbeda menggambarkan kesuksesan secara berbeda) mungkin akan sulit untuk kita lihat meskipun kita melihatnya.
Selanjutnya - lebih buruk. Sistem pembelajaran mesin yang sangat baik dalam menemukan kanker pada kulit pucat mungkin tidak berfungsi dengan baik pada kulit gelap, atau sebaliknya. Bukan karena bias, tetapi karena Anda mungkin perlu membuat model terpisah untuk warna kulit berbeda, dengan memilih karakteristik berbeda. Sistem pembelajaran mesin tidak dapat dipertukarkan bahkan dalam bidang sempit seperti pengenalan gambar. Anda perlu mengubah sistem, terkadang hanya melalui trial and error, untuk memahami dengan baik fitur-fitur dalam data yang Anda minati hingga Anda mencapai akurasi yang Anda inginkan. Namun yang mungkin tidak Anda sadari adalah bahwa sistem ini 98% akurat pada satu kelompok, dan hanya 91% (bahkan lebih akurat daripada analisis manusia) pada kelompok lainnya.
Sejauh ini saya hanya menggunakan contoh-contoh yang berkaitan dengan manusia dan karakteristiknya. Pembahasan seputar masalah ini terutama berfokus pada topik ini. Namun penting untuk dipahami bahwa bias terhadap masyarakat hanyalah sebagian dari masalah. Kami akan menggunakan pembelajaran mesin untuk banyak hal, dan kesalahan pengambilan sampel akan relevan dengan semuanya. Di sisi lain, jika Anda bekerja dengan orang lain, bias dalam data mungkin tidak ada hubungannya dengan mereka.
Untuk memahami hal ini, mari kita kembali ke contoh kanker kulit dan mempertimbangkan tiga kemungkinan hipotetis kegagalan sistem.
- Distribusi orang yang heterogen: jumlah foto dengan warna kulit berbeda yang tidak seimbang, menghasilkan hasil positif palsu atau negatif palsu karena pigmentasi.
- Data tempat sistem dilatih berisi fitur yang sering muncul dan terdistribusi secara heterogen yang tidak terkait dengan manusia dan tidak memiliki nilai diagnostik: penggaris pada foto kanker kulit atau rumput pada foto domba. Dalam hal ini, hasilnya akan berbeda jika sistem menemukan piksel pada gambar sesuatu yang diidentifikasi oleh mata manusia sebagai “penggaris”.
- Data tersebut berisi karakteristik pihak ketiga yang tidak dapat dilihat seseorang meskipun dia mencarinya.
Apa artinya? Kami mengetahui secara apriori bahwa data mungkin mewakili kelompok orang yang berbeda secara berbeda, dan setidaknya kami dapat merencanakan untuk mencari pengecualian tersebut. Dengan kata lain, ada banyak alasan sosial untuk berasumsi bahwa data tentang sekelompok orang sudah mengandung bias. Jika kita melihat foto dengan penggaris, kita akan melihat penggaris ini - kita mengabaikannya sebelumnya, mengetahui bahwa itu tidak masalah, dan lupa bahwa sistem tidak mengetahui apa pun.
Namun bagaimana jika semua foto kulit tidak sehat Anda diambil di kantor dengan cahaya lampu pijar, dan kulit sehat Anda diambil di bawah cahaya neon? Bagaimana jika, setelah Anda selesai memotret kulit yang sehat, sebelum memotret kulit yang tidak sehat, Anda memperbarui sistem operasi pada ponsel Anda, dan Apple atau Google sedikit mengubah algoritme pengurangan noise? Seseorang tidak dapat memperhatikan hal ini, tidak peduli seberapa besar dia mencari ciri-ciri tersebut. Namun sistem penggunaan mesin akan langsung melihat dan menggunakan ini. Dia tidak tahu apa-apa.
Sejauh ini kita telah membicarakan tentang korelasi palsu, namun bisa juga datanya akurat dan hasilnya benar, namun Anda tidak ingin menggunakannya untuk alasan etika, hukum, atau manajemen. Beberapa yurisdiksi, misalnya, tidak memperbolehkan perempuan menerima diskon untuk asuransi mereka, meskipun perempuan mungkin merupakan pengemudi yang lebih aman. Kita dapat dengan mudah membayangkan sebuah sistem yang, ketika menganalisis data historis, akan menetapkan faktor risiko yang lebih rendah pada nama perempuan. Oke, mari kita hapus nama dari pilihan. Namun ingat contoh Amazon: sistem dapat menentukan gender berdasarkan faktor-faktor lain (walaupun sistem tersebut tidak mengetahui apa itu gender, atau bahkan apa itu mobil), dan Anda tidak akan menyadarinya sampai regulator secara surut menganalisis tarif yang Anda kenakan. menawarkan dan menagih Anda, Anda akan didenda.
Terakhir, sering kali diasumsikan bahwa kita hanya akan menggunakan sistem seperti itu untuk proyek yang melibatkan manusia dan interaksi sosial. Ini salah. Jika Anda membuat turbin gas, Anda mungkin ingin menerapkan pembelajaran mesin pada telemetri yang dikirimkan oleh puluhan atau ratusan sensor pada produk Anda (audio, video, suhu, dan sensor lainnya menghasilkan data yang dapat dengan mudah diadaptasi untuk membuat mesin model pembelajaran ). Secara hipotetis, Anda dapat mengatakan, “Ini adalah data dari seribu turbin yang gagal sebelum gagal, dan berikut adalah data dari seribu turbin yang tidak gagal. Bangun model untuk mengetahui perbedaan di antara keduanya.” Nah, sekarang bayangkan sensor Siemens dipasang pada 75% turbin yang rusak, dan hanya 12% turbin yang bagus (tidak ada hubungannya dengan kegagalan). Sistem akan membangun model untuk menemukan turbin dengan sensor Siemens. Ups!
Gambar — Moritz Hardt, UC Berkeley
Mengelola Bias AI
Apa boleh buat? Anda dapat mendekati masalah ini dari tiga sudut pandang:
- Ketelitian metodologis dalam mengumpulkan dan mengelola data untuk melatih sistem.
- Alat teknis untuk menganalisis dan mendiagnosis perilaku model.
- Latih, didik, dan berhati-hatilah saat menerapkan pembelajaran mesin ke dalam produk.
Ada lelucon dalam buku Molière “The Bourgeois in the Nobility”: seorang pria diberi tahu bahwa sastra terbagi menjadi prosa dan puisi, dan dia senang saat mengetahui bahwa dia telah berbicara dalam bentuk prosa sepanjang hidupnya, tanpa menyadarinya. Ini mungkin yang dirasakan para ahli statistik saat ini: tanpa disadari, mereka telah mendedikasikan karier mereka pada kecerdasan buatan dan kesalahan pengambilan sampel. Mencari kesalahan pengambilan sampel dan mengkhawatirkannya bukanlah masalah baru, kita hanya perlu melakukan pendekatan pemecahannya secara sistematis. Seperti disebutkan di atas, dalam beberapa kasus sebenarnya lebih mudah melakukan hal ini dengan mempelajari permasalahan yang berkaitan dengan data masyarakat. Kami secara apriori berasumsi bahwa kami mungkin memiliki prasangka mengenai kelompok orang yang berbeda, namun sulit bagi kami untuk membayangkan prasangka mengenai sensor Siemens.
Yang baru dari semua ini tentu saja masyarakat tidak lagi melakukan analisis statistik secara langsung. Hal ini dilakukan oleh mesin yang menciptakan model yang besar dan kompleks yang sulit untuk dipahami. Persoalan transparansi merupakan salah satu aspek utama dari masalah bias. Kami khawatir sistem ini tidak hanya bias, tetapi tidak ada cara untuk mendeteksi biasnya, dan pembelajaran mesin berbeda dari bentuk otomatisasi lainnya, yang seharusnya terdiri dari langkah-langkah logis yang jelas dan dapat diuji.
ada dua masalah disini. Kami mungkin masih dapat melakukan semacam audit terhadap sistem pembelajaran mesin. Dan mengaudit sistem lain sebenarnya tidak mudah.
Pertama, salah satu arah penelitian modern di bidang pembelajaran mesin adalah pencarian metode untuk mengidentifikasi fungsionalitas penting dari sistem pembelajaran mesin. Meskipun demikian, pembelajaran mesin (dalam kondisi saat ini) adalah bidang ilmu baru yang berubah dengan cepat, jadi jangan berpikir bahwa hal-hal yang mustahil saat ini tidak dapat segera menjadi nyata. Proyek adalah contoh yang menarik mengenai hal ini.
Kedua, gagasan bahwa Anda dapat menguji dan memahami proses pengambilan keputusan pada sistem atau organisasi yang ada memang bagus secara teori, namun dalam praktiknya biasa saja. Memahami bagaimana keputusan dibuat dalam organisasi besar tidaklah mudah. Sekalipun terdapat proses pengambilan keputusan formal, hal tersebut tidak mencerminkan bagaimana masyarakat sebenarnya berinteraksi, dan mereka sendiri seringkali tidak memiliki pendekatan yang logis dan sistematis dalam mengambil keputusan. Seperti yang dikatakan rekan saya , orang juga merupakan kotak hitam.
Ambil contoh seribu orang di beberapa perusahaan dan institusi yang saling tumpang tindih, maka masalahnya menjadi lebih kompleks. Kita mengetahui fakta bahwa Pesawat Ulang-alik ditakdirkan untuk hancur ketika kembali, dan individu-individu di dalam NASA memiliki informasi yang memberi mereka alasan untuk berpikir sesuatu yang buruk mungkin terjadi, namun sistem umumnya Saya tidak mengetahui hal ini. NASA bahkan baru saja melakukan audit serupa setelah kehilangan pesawat ulang-alik sebelumnya, namun kehilangan satu lagi karena alasan yang sangat mirip. Sangat mudah untuk berargumentasi bahwa organisasi dan orang-orang mengikuti aturan yang jelas dan logis yang dapat diuji, dipahami, dan diubah—tetapi pengalaman membuktikan sebaliknya. Ini "'.
Saya sering membandingkan pembelajaran mesin dengan database, terutama database relasional - sebuah teknologi fundamental baru yang telah mengubah kemampuan ilmu komputer dan dunia di sekitarnya, yang telah menjadi bagian dari segalanya, yang kita gunakan terus-menerus tanpa kita sadari. Basis data juga mempunyai masalah, dan sifatnya serupa: sistem mungkin dibangun berdasarkan asumsi yang buruk atau data yang buruk, namun akan sulit untuk menyadarinya, dan orang yang menggunakan sistem akan melakukan apa yang diperintahkan tanpa bertanya. Ada banyak lelucon lama tentang petugas pajak yang pernah salah mengeja nama Anda, dan meyakinkan mereka untuk memperbaiki kesalahan tersebut jauh lebih sulit daripada benar-benar mengubah nama Anda. Ada banyak cara untuk memikirkan hal ini, tetapi tidak jelas mana yang lebih baik: sebagai masalah teknis dalam SQL, atau sebagai bug dalam rilis Oracle, atau sebagai kegagalan lembaga birokrasi? Seberapa sulit menemukan bug dalam suatu proses yang menyebabkan sistem tidak memiliki fitur koreksi kesalahan ketik? Bisakah hal ini diketahui sebelum orang mulai mengeluh?
Masalah ini diilustrasikan secara lebih sederhana melalui cerita ketika pengemudi berkendara ke sungai karena data di navigator sudah ketinggalan zaman. Oke, peta perlu diperbarui terus-menerus. Tapi seberapa besar kesalahan TomTom atas mobil Anda yang terhempas ke laut?
Alasan saya mengatakan ini adalah ya, bias pembelajaran mesin akan menimbulkan masalah. Namun masalah-masalah ini akan serupa dengan masalah-masalah yang kita hadapi di masa lalu, dan masalah-masalah tersebut dapat diperhatikan dan dipecahkan (atau tidak) sebaik yang kita mampu lakukan di masa lalu. Oleh karena itu, skenario di mana bias AI menyebabkan kerugian kecil kemungkinannya terjadi pada peneliti senior yang bekerja di organisasi besar. Kemungkinan besar, beberapa kontraktor teknologi atau vendor perangkat lunak yang tidak penting akan menulis sesuatu, menggunakan komponen, perpustakaan, dan alat sumber terbuka yang tidak mereka pahami. Dan klien yang tidak beruntung akan membeli frasa “kecerdasan buatan” dalam deskripsi produk dan, tanpa mengajukan pertanyaan apa pun, mendistribusikannya kepada karyawannya yang bergaji rendah, memerintahkan mereka untuk melakukan apa yang dikatakan AI. Inilah yang terjadi dengan database. Ini bukan masalah kecerdasan buatan, atau bahkan masalah perangkat lunak. Ini adalah faktor manusia.
Kesimpulan
Pembelajaran mesin dapat melakukan apa pun yang dapat Anda ajarkan kepada seekor anjing - tetapi Anda tidak akan pernah bisa yakin apa sebenarnya yang Anda ajarkan kepada anjing tersebut.
Saya sering merasa istilah “kecerdasan buatan” hanya menghalangi pembicaraan seperti ini. Istilah ini memberikan kesan yang salah bahwa kita sebenarnya menciptakannya – kecerdasan ini. Bahwa kita sedang menuju HAL9000 atau Skynet - sesuatu yang sebenarnya mengerti. Tapi tidak. Ini hanyalah mesin, dan jauh lebih akurat jika dibandingkan dengan, katakanlah, mesin cuci. Dia mencuci pakaian jauh lebih baik daripada manusia, tapi jika kamu memasukkan piring ke dalamnya alih-alih mencuci pakaian, dia... akan mencucinya. Piringnya bahkan akan menjadi bersih. Tapi ini tidak seperti yang Anda harapkan, dan ini tidak akan terjadi karena sistem memiliki prasangka buruk mengenai hidangan. Mesin cuci tidak mengetahui apa itu piring atau pakaian apa - ini hanyalah contoh otomatisasi, secara konseptual tidak berbeda dengan cara proses diotomatisasi sebelumnya.
Baik kita berbicara tentang mobil, pesawat terbang, atau database, sistem ini akan sangat kuat dan sangat terbatas. Hal ini bergantung sepenuhnya pada cara orang menggunakan sistem ini, apakah niat mereka baik atau buruk, dan seberapa besar mereka memahami cara kerjanya.
Oleh karena itu, pernyataan bahwa “kecerdasan buatan adalah matematika, sehingga tidak boleh memiliki bias” adalah salah sepenuhnya. Namun, pernyataan bahwa pembelajaran mesin “bersifat subyektif” juga salah. Pembelajaran mesin menemukan pola dalam data, dan pola apa yang ditemukan bergantung pada data, dan data bergantung pada kita. Sama seperti apa yang kita lakukan dengan mereka. Pembelajaran mesin memang melakukan beberapa hal jauh lebih baik daripada yang kita bisa - tetapi anjing, misalnya, jauh lebih efektif daripada manusia dalam mendeteksi narkoba, yang bukan merupakan alasan untuk menggunakan mereka sebagai saksi dan membuat penilaian berdasarkan kesaksian mereka. Dan omong-omong, anjing jauh lebih pintar daripada sistem pembelajaran mesin mana pun.
Terjemahan: .
Pengeditan: .
Masyarakat: .
Sumber: www.habr.com