NeuroIPS () ialah persidangan terbesar di dunia tentang pembelajaran mesin dan kecerdasan buatan dan acara utama dalam dunia pembelajaran mendalam.
Adakah kita, jurutera DS, juga akan menguasai biologi, linguistik, dan psikologi dalam dekad baharu? Kami akan memberitahu anda dalam ulasan kami.
Tahun ini persidangan itu menghimpunkan lebih 13500 orang dari 80 negara di Vancouver, Kanada. Ini bukan tahun pertama Sberbank mewakili Rusia pada persidangan itu - pasukan DS bercakap tentang pelaksanaan ML dalam proses perbankan, tentang persaingan ML dan tentang keupayaan platform Sberbank DS. Apakah trend utama 2019 dalam komuniti ML? Peserta persidangan berkata: и .
Tahun ini, NeurIPS menerima lebih daripada 1400 kertas—algoritma, model baharu dan aplikasi baharu kepada data baharu.
Kandungan:
- Trend
-
- Kebolehtafsiran model
- Pelbagai disiplin
- Penaakulan
- RL
- GAN
- Ceramah Asas Jemputan
-
- “Kecerdasan Sosial”, Blaise Aguera y Arcas (Google)
- “Sains Data Veridis”, Bin Yu (Berkeley)
- “Pemodelan Tingkah Laku Manusia dengan Pembelajaran Mesin: Peluang dan Cabaran”, Nuria M Oliver, Albert Ali Salah
- “Daripada Sistem 1 kepada Sistem 2 Pembelajaran Mendalam”, Yoshua Bengio
Trend 2019 Tahun
1. Kebolehtafsiran model dan metodologi ML baharu
Topik utama persidangan adalah tafsiran dan bukti mengapa kami mendapat keputusan tertentu. Seseorang boleh bercakap untuk masa yang lama tentang kepentingan falsafah tafsiran "kotak hitam", tetapi terdapat lebih banyak kaedah sebenar dan perkembangan teknikal dalam bidang ini.
Metodologi untuk mereplikasi model dan mengekstrak pengetahuan daripadanya ialah kit alat baharu untuk sains. Model boleh berfungsi sebagai alat untuk mendapatkan pengetahuan baharu dan mengujinya, dan setiap peringkat prapemprosesan, latihan dan aplikasi model mesti boleh dihasilkan semula.
Sebilangan besar penerbitan ditumpukan bukan untuk pembinaan model dan alatan, tetapi untuk masalah memastikan keselamatan, ketelusan dan kebolehpercayaan hasil. Khususnya, aliran berasingan telah muncul tentang serangan pada model (serangan musuh), dan pilihan untuk kedua-dua serangan terhadap latihan dan serangan terhadap aplikasi dipertimbangkan.
Artikel:
- — artikel terprogram mengenai metodologi pengesahan model. Termasuk gambaran keseluruhan alat moden untuk mentafsir model, khususnya, penggunaan perhatian dan mendapatkan kepentingan ciri dengan "menyuling" rangkaian saraf dengan model linear.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Raff
ExBert.net menunjukkan tafsiran model untuk tugas pemprosesan teks
2. Pelbagai disiplin
Untuk memastikan pengesahan yang boleh dipercayai dan membangunkan mekanisme untuk mengesahkan dan mengembangkan pengetahuan, kami memerlukan pakar dalam bidang berkaitan yang pada masa yang sama mempunyai kecekapan dalam ML dan dalam bidang subjek (perubatan, linguistik, neurobiologi, pendidikan, dll.). Terutamanya perlu diperhatikan kehadiran karya dan ucapan yang lebih penting dalam sains saraf dan sains kognitif - terdapat persesuaian pakar dan peminjaman idea.
Sebagai tambahan kepada persesuaian ini, pelbagai disiplin muncul dalam pemprosesan bersama maklumat daripada pelbagai sumber: teks dan foto, teks dan permainan, pangkalan data graf + teks dan foto.
Artikel:
- Neurosains + ML —
- VisualQA -
- RL + NLP -
Dua model - ahli strategi dan eksekutif - berdasarkan strategi permainan dalam talian RL dan NLP
3. Penaakulan
Memperkukuh kecerdasan buatan adalah satu pergerakan ke arah sistem pembelajaran kendiri, "sedar", penaakulan dan penaakulan. Khususnya, inferens kausal dan penaakulan akal sedang berkembang. Beberapa laporan ditumpukan kepada meta-pembelajaran (tentang cara belajar untuk belajar) dan gabungan teknologi DL dengan logik urutan pertama dan kedua - istilah Kecerdasan Am Buatan (AGI) menjadi istilah biasa dalam ucapan penceramah.
Artikel:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4.Pembelajaran Pengukuhan
Kebanyakan kerja terus membangunkan kawasan tradisional RL - DOTA2, Starcraft, menggabungkan seni bina dengan penglihatan komputer, NLP, pangkalan data graf.
Hari berasingan persidangan itu dikhaskan untuk bengkel RL, di mana seni bina Model Pengkritik Pelakon Optimis dipersembahkan, lebih baik daripada semua yang sebelumnya, khususnya Pengkritik Pelakon Lembut.
Artikel:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Rangkaian Pilihan, Inc.); Prabhat Nagarajan (Rangkaian Pilihan); Takahiro Ishikawa (Universiti Tokyo) [pautan pdf luar].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Universiti Toronto); Mohammad Norouzi (Otak Google)
Pemain StarCraft bertarung dengan model Alphastar (DeepMind)
5.GAN
Rangkaian penjanaan masih menjadi tumpuan: banyak karya menggunakan GAN vanila untuk pembuktian matematik, dan juga menerapkannya dalam cara baharu yang luar biasa (model generatif graf, bekerja dengan siri, aplikasi kepada hubungan sebab-akibat dalam data, dsb.).
Artikel:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Memandangkan lebih banyak kerja diterima Di bawah ini kita akan bercakap tentang ucapan yang paling penting.
Ceramah Jemputan
“Kecerdasan Sosial”, Blaise Aguera y Arcas (Google)
Perbincangan memfokuskan pada metodologi umum pembelajaran mesin dan prospek mengubah industri sekarang - apakah persimpangan jalan yang kita hadapi? Bagaimanakah otak dan evolusi berfungsi, dan mengapa kita menggunakan begitu sedikit apa yang telah kita ketahui tentang pembangunan sistem semula jadi?
Pembangunan perindustrian ML sebahagian besarnya bertepatan dengan peristiwa penting pembangunan Google, yang menerbitkan penyelidikannya pada NeurIPS tahun demi tahun:
- 1997 – pelancaran kemudahan carian, pelayan pertama, kuasa pengkomputeran kecil
- 2010 - Jeff Dean melancarkan projek Google Brain, ledakan rangkaian saraf pada awalnya
- 2015 – pelaksanaan industri rangkaian saraf, pengecaman muka pantas secara langsung pada peranti tempatan, pemproses peringkat rendah yang disesuaikan untuk pengkomputeran tensor - TPU. Google melancarkan Coral ai - analog pi raspberi, komputer mini untuk memperkenalkan rangkaian saraf ke dalam pemasangan percubaan
- 2017 – Google mula membangunkan latihan terdesentralisasi dan menggabungkan hasil latihan rangkaian saraf daripada peranti berbeza ke dalam satu model – pada Android
Hari ini, seluruh industri dikhususkan untuk keselamatan data, pengagregatan dan replikasi hasil pembelajaran pada peranti tempatan.
– arah ML di mana model individu belajar secara bebas antara satu sama lain dan kemudian digabungkan menjadi satu model (tanpa memusatkan data sumber), diselaraskan untuk peristiwa yang jarang berlaku, anomali, pemperibadian, dsb. Semua peranti Android pada asasnya adalah superkomputer pengkomputeran tunggal untuk Google.
Model generatif berdasarkan pembelajaran bersekutu adalah hala tuju masa depan yang menjanjikan menurut Google, iaitu "di peringkat awal pertumbuhan eksponen." GAN, menurut pensyarah, mampu belajar untuk menghasilkan semula tingkah laku jisim populasi organisma hidup dan algoritma pemikiran.
Menggunakan contoh dua seni bina GAN mudah, ditunjukkan bahawa di dalamnya carian untuk laluan pengoptimuman mengembara dalam bulatan, yang bermaksud pengoptimuman seperti itu tidak berlaku. Pada masa yang sama, model ini sangat berjaya dalam mensimulasikan eksperimen yang dilakukan oleh ahli biologi terhadap populasi bakteria, memaksa mereka mempelajari strategi tingkah laku baharu dalam mencari makanan. Kita boleh membuat kesimpulan bahawa kehidupan berfungsi secara berbeza daripada fungsi pengoptimuman.
Pengoptimuman GAN Berjalan
Semua yang kami lakukan dalam rangka pembelajaran mesin sekarang adalah tugas yang sempit dan sangat formal, manakala formalisme ini tidak digeneralisasikan dengan baik dan tidak sepadan dengan pengetahuan subjek kami dalam bidang seperti neurofisiologi dan biologi.
Apa yang benar-benar bernilai meminjam dari bidang neurofisiologi dalam masa terdekat adalah seni bina neuron baru dan semakan sedikit mekanisme penyebaran ralat.
Otak manusia itu sendiri tidak belajar seperti rangkaian saraf:
- Dia tidak mempunyai input utama rawak, termasuk yang ditetapkan melalui deria dan pada zaman kanak-kanak
- Dia mempunyai hala tuju perkembangan naluri (keinginan untuk belajar bahasa dari bayi, berjalan tegak)
Melatih otak individu adalah tugas peringkat rendah; mungkin kita harus mempertimbangkan "koloni" individu yang berubah dengan pantas yang menyampaikan pengetahuan kepada satu sama lain untuk menghasilkan semula mekanisme evolusi kumpulan.
Perkara yang boleh kita pakai ke dalam algoritma ML sekarang:
- Gunakan model keturunan sel yang memastikan pembelajaran populasi, tetapi jangka hayat individu yang singkat (“otak individu”)
- Pembelajaran beberapa pukulan menggunakan sebilangan kecil contoh
- Struktur neuron yang lebih kompleks, fungsi pengaktifan yang sedikit berbeza
- Memindahkan "genom" kepada generasi seterusnya - algoritma perambatan balik
- Sebaik sahaja kami menyambungkan neurofisiologi dan rangkaian saraf, kami akan belajar membina otak pelbagai fungsi daripada banyak komponen.
Dari sudut ini, amalan penyelesaian SOTA adalah memudaratkan dan harus disemak semula demi membangunkan tugas biasa (penanda aras).
“Sains Data Veridis”, Bin Yu (Berkeley)
Laporan ini ditumpukan kepada masalah mentafsir model pembelajaran mesin dan metodologi untuk ujian dan pengesahan langsung mereka. Mana-mana model ML terlatih boleh dianggap sebagai sumber pengetahuan yang perlu diekstrak daripadanya.
Dalam banyak bidang, terutamanya dalam bidang perubatan, penggunaan model adalah mustahil tanpa mengekstrak pengetahuan tersembunyi ini dan mentafsir keputusan model - jika tidak, kita tidak akan pasti bahawa hasilnya akan stabil, tidak rawak, boleh dipercayai, dan tidak akan membunuh sabar. Seluruh hala tuju metodologi kerja sedang berkembang dalam paradigma pembelajaran mendalam dan melangkaui sempadannya - sains data yang benar. Apa ini?
Kami ingin mencapai kualiti penerbitan saintifik dan kebolehulangan model seperti berikut:
- boleh diramal
- boleh dikira
- stabil
Ketiga-tiga prinsip ini menjadi asas kepada metodologi baru. Bagaimanakah model ML boleh disemak berdasarkan kriteria ini? Cara paling mudah ialah membina model yang boleh ditafsir dengan segera (regresi, pepohon keputusan). Walau bagaimanapun, kami juga ingin mendapatkan faedah segera daripada pembelajaran mendalam.
Beberapa cara sedia ada untuk menangani masalah:
- mentafsir model;
- menggunakan kaedah berdasarkan perhatian;
- gunakan himpunan algoritma semasa latihan, dan pastikan model boleh tafsir linear belajar untuk meramalkan jawapan yang sama seperti rangkaian saraf, mentafsir ciri daripada model linear;
- menukar dan menambah data latihan. Ini termasuk menambah hingar, gangguan dan penambahan data;
- sebarang kaedah yang membantu memastikan keputusan model tidak rawak dan tidak bergantung pada gangguan kecil yang tidak diingini (serangan musuh);
- mentafsir model selepas fakta, selepas latihan;
- mengkaji pemberat ciri dalam pelbagai cara;
- kaji kebarangkalian semua hipotesis, taburan kelas.
Serangan musuh
Kesilapan pemodelan adalah mahal untuk semua orang: contoh utama ialah hasil kerja Reinhart dan Rogov."" mempengaruhi dasar ekonomi banyak negara Eropah dan memaksa mereka untuk meneruskan dasar penjimatan, tetapi pemeriksaan semula data yang teliti dan pemprosesannya bertahun-tahun kemudian menunjukkan keputusan yang bertentangan!
Mana-mana teknologi ML mempunyai kitaran hayatnya sendiri dari pelaksanaan hingga pelaksanaan. Matlamat metodologi baharu adalah untuk menyemak tiga prinsip asas pada setiap peringkat kehidupan model.
Results:
- Beberapa projek sedang dibangunkan yang akan membantu model ML menjadi lebih dipercayai. Ini, sebagai contoh, deeptune (pautan ke: );
- Untuk pembangunan lanjut metodologi, adalah perlu untuk meningkatkan kualiti penerbitan dalam bidang ML dengan ketara;
- Pembelajaran mesin memerlukan pemimpin dengan latihan dan kepakaran pelbagai disiplin dalam kedua-dua bidang teknikal dan kemanusiaan.
“Pemodelan Tingkah Laku Manusia dengan Pembelajaran Mesin: Peluang dan Cabaran” Nuria M Oliver, Albert Ali Salah
Kuliah khusus untuk memodelkan tingkah laku manusia, asas teknologi dan prospek aplikasinya.
Pemodelan tingkah laku manusia boleh dibahagikan kepada:
- tingkah laku individu
- tingkah laku sekumpulan kecil manusia
- tingkah laku massa
Setiap jenis ini boleh dimodelkan menggunakan ML, tetapi dengan maklumat dan ciri input yang berbeza sama sekali. Setiap jenis juga mempunyai isu etika tersendiri yang dilalui oleh setiap projek:
- tingkah laku individu - kecurian identiti, deepfake;
- tingkah laku kumpulan orang - penyahnamaan, mendapatkan maklumat tentang pergerakan, panggilan telefon, dsb.;
tingkah laku individu
Kebanyakannya berkaitan dengan topik Penglihatan Komputer - pengiktirafan emosi dan tindak balas manusia. Mungkin hanya dalam konteks, dalam masa, atau dengan skala relatif kebolehubahan emosinya sendiri. Slaid menunjukkan pengiktirafan emosi Mona Lisa menggunakan konteks daripada spektrum emosi wanita Mediterranean. Hasilnya: senyuman kegembiraan, tetapi dengan penghinaan dan rasa jijik. Sebabnya berkemungkinan besar dalam cara teknikal untuk mentakrifkan emosi "neutral".
Tingkah laku sekumpulan kecil orang
Setakat ini model yang paling teruk adalah disebabkan oleh maklumat yang tidak mencukupi. Sebagai contoh, karya dari 2018 – 2019 telah ditunjukkan. pada berpuluh-puluh orang X berpuluh-puluh video (rujuk 100k++ set data imej). Untuk memodelkan tugas ini dengan terbaik, maklumat multimodal diperlukan, sebaik-baiknya daripada penderia pada altimeter badan, termometer, rakaman mikrofon, dsb.
Tingkah laku massa
Kawasan yang paling maju, kerana pelanggan adalah PBB dan banyak negeri. Kamera pengawasan luar, data dari menara telefon - pengebilan, SMS, panggilan, data pergerakan antara sempadan negeri - semua ini memberikan gambaran yang sangat boleh dipercayai tentang pergerakan orang dan ketidakstabilan sosial. Potensi aplikasi teknologi: pengoptimuman operasi menyelamat, bantuan dan pemindahan penduduk tepat pada masanya semasa kecemasan. Model yang digunakan kebanyakannya masih kurang ditafsirkan - ini adalah pelbagai LSTM dan rangkaian konvolusi. Terdapat kenyataan ringkas bahawa PBB sedang melobi untuk undang-undang baharu yang mewajibkan perniagaan Eropah berkongsi data tanpa nama yang diperlukan untuk sebarang penyelidikan.
“Daripada Sistem 1 kepada Sistem 2 Pembelajaran Mendalam”, Yoshua Bengio
Dalam kuliah Joshua Bengio, pembelajaran mendalam memenuhi neurosains pada tahap penetapan matlamat.
Bengio mengenal pasti dua jenis masalah utama mengikut metodologi pemenang Hadiah Nobel Daniel Kahneman (buku "")
jenis 1 - Sistem 1, tindakan tidak sedarkan diri yang kita lakukan "secara automatik" (otak kuno): memandu kereta di tempat yang biasa, berjalan, mengenali wajah.
jenis 2 - Sistem 2, tindakan sedar (korteks serebrum), penetapan matlamat, analisis, pemikiran, tugasan komposit.
AI setakat ini telah mencapai tahap yang mencukupi hanya dalam tugasan jenis pertama, manakala tugas kami adalah untuk membawanya ke yang kedua, mengajarnya untuk melaksanakan operasi pelbagai disiplin dan beroperasi dengan logik dan kemahiran kognitif peringkat tinggi.
Untuk mencapai matlamat ini adalah dicadangkan:
- dalam tugasan NLP, gunakan perhatian sebagai mekanisme utama untuk memodelkan pemikiran
- gunakan meta-pembelajaran dan pembelajaran perwakilan untuk memodelkan ciri yang lebih baik yang mempengaruhi kesedaran dan penyetempatan mereka - dan pada asasnya beralih kepada operasi dengan konsep peringkat lebih tinggi.
Daripada kesimpulan, inilah ceramah yang dijemput: Bengio ialah salah seorang daripada ramai saintis yang cuba mengembangkan bidang ML melangkaui masalah pengoptimuman, SOTA dan seni bina baharu.
Persoalannya tetap terbuka sejauh mana gabungan masalah kesedaran, pengaruh bahasa terhadap pemikiran, neurobiologi dan algoritma adalah apa yang menanti kita pada masa hadapan dan akan membolehkan kita bergerak ke mesin yang "berfikir" seperti orang.
Thank you!
Sumber: www.habr.com