NeuroIPS () adalah konferensi terbesar di dunia tentang pembelajaran mesin dan kecerdasan buatan serta acara utama dalam dunia pembelajaran mendalam.
Akankah kita, para insinyur DS, juga menguasai biologi, linguistik, dan psikologi di dekade baru? Kami akan memberi tahu Anda di ulasan kami.
Tahun ini konferensi tersebut dihadiri lebih dari 13500 orang dari 80 negara di Vancouver, Kanada. Ini bukan tahun pertama Sberbank mewakili Rusia di konferensi tersebut - tim DS berbicara tentang penerapan ML dalam proses perbankan, tentang kompetisi ML, dan tentang kemampuan platform Sberbank DS. Apa tren utama tahun 2019 di komunitas ML? Peserta konferensi mengatakan: и .
Tahun ini, NeurIPS menerima lebih dari 1400 makalah—algoritma, model baru, dan aplikasi baru pada data baru.
Isi:
- Tren
-
- Interpretabilitas model
- Multidisiplin
- Pemikiran
- RL
- Gan
- Pembicaraan Dasar yang Diundang
-
- “Kecerdasan Sosial”, Blaise Aguera y Arcas (Google)
- “Ilmu Data Veridis”, Bin Yu (Berkeley)
- “Pemodelan Perilaku Manusia dengan Pembelajaran Mesin: Peluang dan Tantangan”, Nuria M Oliver, Albert Ali Salah
- “Dari Pembelajaran Mendalam Sistem 1 ke Sistem 2”, Yoshua Bengio
Tren 2019 tahun ini
1. Interpretabilitas model dan metodologi ML baru
Topik utama konferensi ini adalah interpretasi dan bukti mengapa kita mendapatkan hasil tertentu. Kita dapat berbicara panjang lebar tentang pentingnya filosofis penafsiran “kotak hitam”, namun terdapat metode dan perkembangan teknis yang lebih nyata di bidang ini.
Metodologi untuk mereplikasi model dan mengekstraksi pengetahuan dari model tersebut merupakan perangkat baru bagi sains. Model dapat berfungsi sebagai alat untuk memperoleh pengetahuan baru dan mengujinya, dan setiap tahap pra-pemrosesan, pelatihan, dan penerapan model harus dapat direproduksi.
Sebagian besar publikasi dikhususkan bukan untuk pembangunan model dan alat, namun untuk masalah memastikan keamanan, transparansi dan verifikasi hasil. Secara khusus, aliran terpisah telah muncul tentang serangan terhadap model (serangan permusuhan), dan opsi untuk serangan terhadap pelatihan dan serangan terhadap aplikasi dipertimbangkan.
artikel:
- — artikel terprogram tentang metodologi verifikasi model. Mencakup ikhtisar alat modern untuk menafsirkan model, khususnya, penggunaan perhatian dan memperoleh kepentingan fitur dengan “menyaring” jaringan saraf dengan model linier.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K.Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Raf
ExBert.net menunjukkan interpretasi model untuk tugas pemrosesan teks
2. Multidisipliner
Untuk memastikan verifikasi yang andal dan mengembangkan mekanisme untuk memverifikasi dan memperluas pengetahuan, kami memerlukan spesialis di bidang terkait yang secara bersamaan memiliki kompetensi dalam ML dan bidang studi (kedokteran, linguistik, neurobiologi, pendidikan, dll.). Perlu diperhatikan kehadiran karya dan pidato yang lebih signifikan dalam ilmu saraf dan ilmu kognitif - ada pemulihan hubungan para spesialis dan peminjaman ide.
Selain pemulihan hubungan ini, multidisiplin muncul dalam pemrosesan bersama informasi dari berbagai sumber: teks dan foto, teks dan permainan, database grafik + teks dan foto.
artikel:
- Ilmu Saraf + ML —
- Visual QA -
- RL+NLP-
Dua model - ahli strategi dan eksekutif - berdasarkan strategi online bermain RL dan NLP
3. Penalaran
Penguatan kecerdasan buatan adalah gerakan menuju sistem belajar mandiri, “sadar”, penalaran dan penalaran. Secara khusus, inferensi kausal dan penalaran yang masuk akal sedang berkembang. Beberapa laporan dikhususkan untuk meta-learning (tentang cara belajar belajar) dan kombinasi teknologi DL dengan logika urutan 1 dan 2 - istilah Artificial General Intelligence (AGI) menjadi istilah umum dalam pidato pembicara.
artikel:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4. Pembelajaran Penguatan
Sebagian besar pekerjaan terus mengembangkan bidang tradisional RL - DOTA2, Starcraft, menggabungkan arsitektur dengan visi komputer, NLP, database grafik.
Hari konferensi yang terpisah dikhususkan untuk lokakarya RL, yang menampilkan arsitektur Model Kritikus Aktor Optimis, yang lebih unggul dari semua yang sebelumnya, khususnya Kritikus Aktor Lembut.
artikel:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Jaringan Pilihan, Inc.)*; Toshiki Kataoka (Jaringan Pilihan, Inc.); Prabhat Nagarajan (Jaringan Pilihan); Takahiro Ishikawa (Universitas Tokyo) [tautan pdf eksternal].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Universitas Toronto); Mohammad Norouzi (Otak Google)
Pemain StarCraft bertarung dengan model Alphastar (DeepMind)
5.GAN
Jaringan generatif masih menjadi sorotan: banyak karya menggunakan vanilla GAN untuk pembuktian matematis, dan juga menerapkannya dengan cara baru dan tidak biasa (membuat grafik model generatif, bekerja dengan rangkaian, penerapan hubungan sebab-akibat dalam data, dll.).
artikel:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Karena lebih banyak pekerjaan yang diterima Di bawah ini kita akan membicarakan pidato yang paling penting.
Pembicaraan yang Diundang
“Kecerdasan Sosial”, Blaise Aguera y Arcas (Google)
Pembicaraan ini berfokus pada metodologi umum pembelajaran mesin dan prospek perubahan industri saat ini - persimpangan jalan apa yang kita hadapi? Bagaimana cara kerja otak dan evolusi, dan mengapa kita hanya memanfaatkan sedikit hal yang sudah kita ketahui tentang perkembangan sistem alam?
Perkembangan industri ML sebagian besar bertepatan dengan tonggak perkembangan Google, yang mempublikasikan penelitiannya di NeurIPS dari tahun ke tahun:
- 1997 – peluncuran fasilitas pencarian, server pertama, daya komputasi kecil
- 2010 – Jeff Dean meluncurkan proyek Google Brain, ledakan jaringan saraf pada awalnya
- 2015 – implementasi industri jaringan saraf, pengenalan wajah cepat langsung pada perangkat lokal, prosesor tingkat rendah yang disesuaikan untuk komputasi tensor - TPU. Google meluncurkan Coral ai - analog dari raspberry pi, komputer mini untuk memperkenalkan jaringan saraf ke dalam instalasi eksperimental
- 2017 – Google mulai mengembangkan pelatihan terdesentralisasi dan menggabungkan hasil pelatihan jaringan saraf dari perangkat berbeda ke dalam satu model – di Android
Saat ini, seluruh industri berdedikasi pada keamanan data, agregasi, dan replikasi hasil pembelajaran pada perangkat lokal.
– arah ML di mana masing-masing model belajar secara independen satu sama lain dan kemudian digabungkan menjadi satu model (tanpa memusatkan sumber data), disesuaikan dengan kejadian langka, anomali, personalisasi, dll. Semua perangkat Android pada dasarnya adalah superkomputer komputasi tunggal untuk Google.
Model generatif berdasarkan pembelajaran gabungan adalah arah masa depan yang menjanjikan menurut Google, yang “dalam tahap awal pertumbuhan eksponensial.” GAN, menurut dosen tersebut, mampu belajar mereproduksi perilaku massa populasi organisme hidup dan berpikir algoritma.
Dengan menggunakan contoh dua arsitektur GAN sederhana, terlihat bahwa di dalamnya pencarian jalur optimasi mengembara dalam lingkaran, yang berarti optimasi seperti itu tidak terjadi. Pada saat yang sama, model ini sangat berhasil dalam mensimulasikan eksperimen yang dilakukan para ahli biologi terhadap populasi bakteri, memaksa mereka mempelajari strategi perilaku baru dalam mencari makanan. Kita dapat menyimpulkan bahwa kehidupan bekerja secara berbeda dari fungsi optimasi.
Optimasi GAN Berjalan
Segala sesuatu yang kita lakukan dalam kerangka pembelajaran mesin sekarang adalah tugas-tugas yang sempit dan sangat formal, sementara formalisme ini tidak dapat digeneralisasi dengan baik dan tidak sesuai dengan pengetahuan subjek kita di berbagai bidang seperti neurofisiologi dan biologi.
Apa yang benar-benar layak dipinjam dari bidang neurofisiologi dalam waktu dekat adalah arsitektur neuron baru dan sedikit revisi pada mekanisme kesalahan propagasi mundur.
Otak manusia sendiri tidak belajar seperti jaringan saraf:
- Ia tidak memiliki masukan primer yang acak, termasuk yang diberikan melalui indra dan di masa kanak-kanak
- Ia memiliki arah perkembangan naluriah yang melekat (keinginan untuk belajar bahasa sejak bayi, berjalan tegak)
Melatih otak individu adalah tugas tingkat rendah; mungkin kita harus mempertimbangkan “koloni” individu yang berubah dengan cepat dan meneruskan pengetahuan satu sama lain untuk mereproduksi mekanisme evolusi kelompok.
Apa yang dapat kami adopsi ke dalam algoritma ML sekarang:
- Menerapkan model garis keturunan sel yang menjamin pembelajaran populasi, tetapi umur pendek individu (“otak individu”)
- Pembelajaran singkat dengan menggunakan sejumlah kecil contoh
- Struktur neuron lebih kompleks, fungsi aktivasi sedikit berbeda
- Mentransfer "genom" ke generasi berikutnya - algoritma propagasi mundur
- Setelah kita menghubungkan neurofisiologi dan jaringan saraf, kita akan belajar membangun otak multifungsi dari banyak komponen.
Dari sudut pandang ini, praktik solusi SOTA merugikan dan harus direvisi demi pengembangan tugas bersama (benchmark).
“Ilmu Data Veridis”, Bin Yu (Berkeley)
Laporan ini dikhususkan untuk masalah interpretasi model pembelajaran mesin dan metodologi pengujian dan verifikasi langsungnya. Setiap model ML yang dilatih dapat dianggap sebagai sumber pengetahuan yang perlu diekstraksi darinya.
Di banyak bidang, terutama di bidang kedokteran, penggunaan model tidak mungkin dilakukan tanpa mengekstraksi pengetahuan tersembunyi ini dan menafsirkan hasil model - jika tidak, kita tidak akan yakin bahwa hasilnya akan stabil, tidak acak, dapat diandalkan, dan tidak akan mematikan. sabar. Seluruh arah metodologi kerja berkembang dalam paradigma pembelajaran mendalam dan melampaui batas-batasnya - ilmu data veridical. Apa itu?
Kami ingin mencapai kualitas publikasi ilmiah dan reproduktifitas model yaitu:
- dapat diprediksi
- dapat dihitung
- stabil
Ketiga prinsip ini menjadi dasar metodologi baru. Bagaimana cara model ML diperiksa berdasarkan kriteria ini? Cara termudah adalah dengan membangun model yang dapat langsung diinterpretasikan (regresi, pohon keputusan). Namun, kami juga ingin mendapatkan manfaat langsung dari pembelajaran mendalam.
Beberapa cara yang ada untuk mengatasi masalah ini:
- menafsirkan model;
- menggunakan metode berdasarkan perhatian;
- menggunakan kumpulan algoritme saat pelatihan, dan memastikan bahwa model linier yang dapat diinterpretasikan belajar memprediksi jawaban yang sama seperti jaringan saraf, menafsirkan fitur dari model linier;
- mengubah dan menambah data pelatihan. Hal ini termasuk penambahan noise, interferensi, dan augmentasi data;
- metode apa pun yang membantu memastikan bahwa hasil model tidak acak dan tidak bergantung pada gangguan kecil yang tidak diinginkan (serangan permusuhan);
- menafsirkan model setelah faktanya, setelah pelatihan;
- mempelajari bobot fitur dengan berbagai cara;
- mempelajari probabilitas semua hipotesis, distribusi kelas.
Serangan musuh
Kesalahan pemodelan merugikan semua orang: contoh utama adalah karya Reinhart dan Rogov."" mempengaruhi kebijakan ekonomi banyak negara Eropa dan memaksa mereka untuk menerapkan kebijakan penghematan, namun pemeriksaan ulang yang cermat terhadap data dan pemrosesannya bertahun-tahun kemudian menunjukkan hasil sebaliknya!
Setiap teknologi ML memiliki siklus hidupnya sendiri mulai dari implementasi hingga implementasi. Tujuan dari metodologi baru ini adalah untuk memeriksa tiga prinsip dasar pada setiap tahap kehidupan model.
Hasil:
- Beberapa proyek sedang dikembangkan yang akan membantu model ML menjadi lebih andal. Ini misalnya deeptune (tautan ke: );
- Untuk pengembangan metodologi lebih lanjut, kualitas publikasi di bidang ML perlu ditingkatkan secara signifikan;
- Pembelajaran mesin membutuhkan pemimpin dengan pelatihan multidisiplin dan keahlian di bidang teknis dan humaniora.
“Pemodelan Perilaku Manusia dengan Pembelajaran Mesin: Peluang dan Tantangan” Nuria M Oliver, Albert Ali Salah
Kuliah yang didedikasikan untuk memodelkan perilaku manusia, dasar teknologinya dan prospek penerapannya.
Pemodelan perilaku manusia dapat dibagi menjadi:
- perilaku individu
- perilaku sekelompok kecil orang
- perilaku massal
Masing-masing jenis ini dapat dimodelkan menggunakan ML, tetapi dengan informasi masukan dan fitur yang sangat berbeda. Setiap jenis juga memiliki masalah etika tersendiri yang dialami setiap proyek:
- perilaku individu – pencurian identitas, deepfake;
- perilaku sekelompok orang - de-anonimisasi, memperoleh informasi tentang pergerakan, panggilan telepon, dll.;
perilaku individu
Sebagian besar terkait dengan topik Computer Vision - pengenalan emosi dan reaksi manusia. Mungkin hanya dalam konteks, waktu, atau dengan skala relatif dari variabilitas emosinya sendiri. Slide ini menunjukkan pengenalan emosi Mona Lisa menggunakan konteks spektrum emosi wanita Mediterania. Hasilnya: senyuman gembira, namun dengan rasa jijik dan jijik. Alasannya kemungkinan besar terletak pada cara teknis dalam mendefinisikan emosi “netral”.
Perilaku sekelompok kecil orang
Sejauh ini model terburuk disebabkan oleh kurangnya informasi. Sebagai contoh, ditampilkan karya-karya tahun 2018 – 2019. pada lusinan orang X lusinan video (lih. kumpulan data gambar 100k++). Untuk memodelkan tugas ini dengan baik, diperlukan informasi multimodal, sebaiknya dari sensor pada altimeter tubuh, termometer, rekaman mikrofon, dll.
Perilaku massal
Daerah yang paling berkembang, karena pelanggannya adalah PBB dan banyak negara bagian. Kamera pengintai luar ruangan, data dari menara telepon - penagihan, SMS, panggilan, data pergerakan antar batas negara - semua ini memberikan gambaran yang sangat andal tentang pergerakan manusia dan ketidakstabilan sosial. Potensi penerapan teknologi ini: optimalisasi operasi penyelamatan, bantuan dan evakuasi penduduk tepat waktu selama keadaan darurat. Model yang digunakan sebagian besar masih kurang diinterpretasikan - ini adalah berbagai LSTM dan jaringan konvolusional. Ada komentar singkat bahwa PBB sedang melobi undang-undang baru yang akan mewajibkan perusahaan-perusahaan Eropa untuk berbagi data anonim yang diperlukan untuk penelitian apa pun.
“Dari Pembelajaran Mendalam Sistem 1 ke Sistem 2”, Yoshua Bengio
Dalam ceramah Joshua Bengio, pembelajaran mendalam bertemu dengan ilmu saraf pada tingkat penetapan tujuan.
Bengio mengidentifikasi dua jenis masalah utama menurut metodologi peraih Nobel Daniel Kahneman (buku “")
tipe 1 - Sistem 1, tindakan bawah sadar yang kita lakukan “secara otomatis” (otak kuno): mengendarai mobil di tempat yang familiar, berjalan, mengenali wajah.
tipe 2 - Sistem 2, tindakan sadar (korteks serebral), penetapan tujuan, analisis, pemikiran, tugas gabungan.
AI sejauh ini telah mencapai tingkat yang cukup hanya dalam tugas-tugas jenis pertama, sementara tugas kita adalah membawanya ke jenis kedua, mengajarkannya untuk melakukan operasi multidisiplin dan beroperasi dengan logika dan keterampilan kognitif tingkat tinggi.
Untuk mencapai tujuan ini diusulkan:
- dalam tugas NLP, gunakan perhatian sebagai mekanisme kunci untuk memodelkan pemikiran
- menggunakan pembelajaran meta dan pembelajaran representasi untuk memodelkan fitur-fitur yang lebih baik yang memengaruhi kesadaran dan lokalisasinya - dan atas dasar tersebut beralih ke pengoperasian dengan konsep tingkat yang lebih tinggi.
Alih-alih menyimpulkan, inilah pembicaraan yang mengundang: Bengio adalah salah satu dari banyak ilmuwan yang mencoba memperluas bidang ML lebih dari sekadar masalah pengoptimalan, SOTA, dan arsitektur baru.
Pertanyaannya tetap terbuka sejauh mana kombinasi masalah kesadaran, pengaruh bahasa terhadap pemikiran, neurobiologi, dan algoritme yang menanti kita di masa depan dan akan memungkinkan kita beralih ke mesin yang “berpikir” seperti manusia.
Terima kasih!
Sumber: www.habr.com