NeuroIPS () minangka konferensi paling gedhe ing donya babagan pembelajaran mesin lan intelijen buatan lan acara utama ing jagad sinau jero.
Apa kita, insinyur DS, uga bakal nguwasani biologi, linguistik, lan psikologi ing dekade anyar? Kita bakal pitutur marang kowe ing review kita.
Konferensi taun iki nglumpukake luwih saka 13500 wong saka 80 negara ing Vancouver, Kanada. Iki dudu taun pisanan sing diwakili dening Sberbank Rusia ing konferensi kasebut - tim DS ngomong babagan implementasine ML ing proses perbankan, babagan kompetisi ML lan babagan kemampuan platform Sberbank DS. Apa tren utama ing 2019 ing komunitas ML? Peserta konferensi ngandika: и .
Taun iki, NeurIPS nampa luwih saka 1400 makalah—algoritma, model anyar, lan aplikasi anyar kanggo data anyar.
Isi:
- Tren
-
- Interpretasi model
- Multidisiplin
- Alesan
- RL
- GAN
- Dhiskusi Undhangan Dasar
-
- "Kecerdasan Sosial", Blaise Aguera y Arcas (Google)
- "Ilmu Data Veridical", Bin Yu (Berkeley)
- "Pemodelan Perilaku Manungsa kanthi Pembelajaran Mesin: Kesempatan lan Tantangan", Nuria M Oliver, Albert Ali Salah
- "From System 1 to System 2 Deep Learning", Yoshua Bengio
Tren 2019
1. Interpretasi model lan metodologi ML anyar
Topik utama konferensi yaiku interpretasi lan bukti kenapa entuk asil tartamtu. Siji bisa ngomong kanggo wektu sing suwe babagan pentinge filosofis saka interpretasi "kotak ireng", nanging ana cara sing luwih nyata lan pangembangan teknis ing wilayah iki.
Metodologi kanggo replikasi model lan ngekstrak kawruh saka iku minangka toolkit anyar kanggo ilmu. Model bisa dadi alat kanggo entuk kawruh anyar lan nguji, lan saben tahap preprocessing, latihan lan aplikasi model kasebut kudu bisa direproduksi.
Proporsi publikasi sing signifikan ora ditrapake kanggo pambangunan model lan alat, nanging kanggo masalah njamin keamanan, transparansi lan verifikasi asil. Utamane, aliran kapisah wis muncul babagan serangan ing model (serangan musuh), lan opsi kanggo loro serangan ing latihan lan serangan ing aplikasi dianggep.
Artikel:
- - artikel terprogram babagan metodologi verifikasi model. Kalebu ringkesan alat modern kanggo interpretasi model, utamane, panggunaan perhatian lan entuk fitur penting kanthi "nyuling" jaringan saraf kanthi model linear.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Raff
ExBert.net nuduhake interpretasi model kanggo tugas pangolahan teks
2. Multidisiplin
Kanggo mesthekake verifikasi sing dipercaya lan ngembangake mekanisme kanggo verifikasi lan ngembangake kawruh, kita butuh spesialis ing bidang sing gegandhengan sing bebarengan duwe kompetensi ing ML lan ing subyek (obat, linguistik, neurobiologi, pendidikan, lan liya-liyane). Iku utamané worth kang lagi nyimak ngarsane liyane pinunjul saka karya lan pidato ing neurosciences lan èlmu kognitif - ana rapprochement spesialis lan peminjaman gagasan.
Saliyane rapprochement iki, multidisiplin muncul ing pangolahan gabungan informasi saka macem-macem sumber: teks lan foto, teks lan game, database grafik + teks lan foto.
Artikel:
- Neuroscience + ML -
- VisualQA -
- RL + NLP -
Rong model - ahli strategi lan eksekutif - adhedhasar strategi RL lan NLP play online
3. Nalar
Nguatake intelijen buatan minangka gerakan menyang sistem sinau mandiri, "sadar", nalar lan nalar. Utamane, inferensi sebab-akibat lan pertimbangan akal sehat berkembang. Sawetara laporan dikhususake kanggo meta-learning (babagan cara sinau sinau) lan kombinasi teknologi DL kanthi logika urutan 1 lan 2 - istilah Artificial General Intelligence (AGI) dadi istilah umum ing pidato penutur.
Artikel:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4. Sinau Pengukuhan
Umume karya terus ngembangake wilayah tradisional RL - DOTA2, Starcraft, nggabungake arsitektur karo visi komputer, NLP, database grafik.
Dina sing kapisah saka konferensi kasebut dikhususake kanggo bengkel RL, ing ngendi arsitektur Model Kritik Aktor Optimis ditampilake, luwih unggul tinimbang kabeh sadurunge, utamane Kritik Aktor Lembut.
Artikel:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (Jaringan Pilihan); Takahiro Ishikawa (Universitas Tokyo) [pranala pdf eksternal].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Universitas Toronto); Mohammad Norouzi (Google Brain)
Pemain StarCraft nglawan model Alphastar (DeepMind)
5. GAN
Jaringan generatif isih dadi sorotan: akeh karya nggunakake GAN vanilla kanggo bukti matematika, lan uga ditrapake kanthi cara anyar sing ora biasa (model generatif grafik, nggarap seri, aplikasi kanggo hubungan sebab-akibat ing data, lsp.).
Artikel:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Wiwit karya liyane ditampa Ing ngisor iki kita bakal ngomong babagan pidato sing paling penting.
Dhiskusi sing diundang
"Kecerdasan Sosial", Blaise Aguera y Arcas (Google)
Dhiskusi kasebut fokus ing metodologi umum sinau mesin lan prospek sing ngganti industri saiki - persimpangan apa sing kita adhepi? Kepiye cara otak lan evolusi, lan kenapa kita ora nggunakake apa sing wis dingerteni babagan pangembangan sistem alam?
Pangembangan industri ML umume bertepatan karo tonggak sejarah pangembangan Google, sing nerbitake riset babagan NeurIPS saben taun:
- 1997 - Bukak fasilitas panelusuran, server pisanan, daya komputasi cilik
- 2010 - Jeff Dean ngluncurake proyek Google Brain, booming jaringan saraf ing wiwitan.
- 2015 - implementasi industri jaringan saraf, pangenalan pasuryan cepet langsung ing piranti lokal, prosesor tingkat rendah sing dirancang kanggo komputasi tensor - TPU. Google ngluncurake Coral ai - analog saka raspberry pi, komputer mini kanggo ngenalake jaringan saraf menyang instalasi eksperimen
- 2017 - Google wiwit ngembangake latihan desentralisasi lan nggabungake asil latihan jaringan saraf saka macem-macem piranti dadi siji model - ing Android
Saiki, kabeh industri khusus kanggo keamanan data, agregasi, lan replikasi asil sinau ing piranti lokal.
- arah ML ing ngendi model individu sinau kanthi mandiri lan banjur digabung dadi model siji (tanpa sentralisasi data sumber), diatur kanggo acara langka, anomali, personalisasi, lsp. Kabeh piranti Android ateges superkomputer komputasi siji kanggo Google.
Model generatif adhedhasar learning federasi minangka arah mangsa ngarep sing janjeni miturut Google, yaiku "ing tahap awal pertumbuhan eksponensial." GAN, miturut dosen, bisa sinau kanggo ngasilake prilaku massa populasi organisme urip lan algoritma mikir.
Nggunakake conto loro arsitektur GAN prasaja, ditampilake ing wong-wong mau nggoleki path optimasi ngumbara ing bunder, kang tegese optimasi kaya mengkono ora kelakon. Ing wektu sing padha, model-model kasebut sukses banget kanggo simulasi eksperimen sing ditindakake para ahli biologi ing populasi bakteri, meksa dheweke sinau strategi prilaku anyar kanggo nggoleki panganan. Kita bisa nyimpulake yen urip beda karo fungsi optimasi.
Walking GAN Optimization
Kabeh sing ditindakake ing kerangka pembelajaran mesin saiki minangka tugas sing sempit lan formal banget, dene formalisme kasebut ora umum lan ora cocog karo kawruh subjek ing bidang kayata neurofisiologi lan biologi.
Apa sing kudu dipinjam saka bidang neurofisiologi ing mangsa ngarep yaiku arsitektur neuron anyar lan revisi tipis saka mekanisme backpropagation saka kesalahan.
Otak manungsa dhewe ora sinau kaya jaringan saraf:
- Dheweke ora duwe input utami acak, kalebu sing diwenehake liwat indra lan nalika isih cilik
- Dheweke duwe arah pangembangan naluriah (kepinginan sinau basa saka bayi, mlaku kanthi tegak)
Nglatih otak individu minangka tugas tingkat rendah; mbok menawa kita kudu nimbang "koloni" saka individu sing ganti kanthi cepet sing menehi kawruh marang saben liyane kanggo ngasilake mekanisme evolusi kelompok.
Apa sing bisa digunakake ing algoritma ML saiki:
- Gunakake model garis keturunan sel sing njamin sinau populasi, nanging umur cendhak individu ("otak individu")
- Sinau sawetara-dijupuk nggunakake sawetara conto
- Struktur neuron sing luwih kompleks, fungsi aktivasi sing rada beda
- Nransfer "genom" menyang generasi sabanjure - algoritma backpropagation
- Sawise nyambungake neurofisiologi lan jaringan saraf, kita bakal sinau carane mbangun otak multifungsi saka akeh komponen.
Saka sudut pandang iki, praktik solusi SOTA ngrugekake lan kudu direvisi kanggo ngembangake tugas umum (benchmark).
"Ilmu Data Veridical", Bin Yu (Berkeley)
Laporan kasebut dikhususake kanggo masalah interpretasi model pembelajaran mesin lan metodologi kanggo tes lan verifikasi langsung. Sembarang model ML sing dilatih bisa dianggep minangka sumber kawruh sing kudu dijupuk saka iku.
Ing pirang-pirang wilayah, utamane ing babagan kedokteran, panggunaan model ora mungkin tanpa ngekstrak kawruh sing didhelikake iki lan nerjemahake asil model - yen ora, kita ora bakal yakin manawa asile bakal stabil, ora acak, dipercaya, lan ora bakal mateni sabar. Arah kabeh metodologi kerja berkembang ing paradigma sinau sing jero lan ngluwihi watese - ilmu data veridical. Opo iki?
Kita pengin entuk kualitas publikasi ilmiah lan reproduktifitas model kayata:
- bisa ditebak
- bisa diitung
- stabil
Telung prinsip kasebut dadi dhasar metodologi anyar. Kepiye model ML bisa dipriksa miturut kritéria kasebut? Cara paling gampang yaiku mbangun model sing bisa diinterpretasikake (regressions, decision tree). Nanging, kita uga pengin entuk manfaat langsung saka sinau jero.
Sawetara cara sing ana kanggo ngatasi masalah kasebut:
- interpretasi model;
- nggunakake cara adhedhasar manungsa waé;
- nggunakake ensembles saka algoritma nalika latihan, lan mesthekake yen model interpretable linear sinau kanggo prédhiksi jawaban sing padha karo jaringan syaraf, interpreting fitur saka model linear;
- ngganti lan nambah data latihan. Iki kalebu nambah gangguan, gangguan, lan data augmentation;
- sembarang cara sing mbantu mesthekake yen asil model ora acak lan ora gumantung ing gangguan cilik sing ora dikarepake (serangan musuh);
- napsirake model sawise kasunyatan, sawise latihan;
- sinau bobot fitur ing macem-macem cara;
- sinau kemungkinan kabeh hipotesis, distribusi kelas.
Serangan mungsuh
Kesalahan modeling larang kanggo kabeh wong: conto utama yaiku karya Reinhart lan Rogov." mengaruhi kabijakan ekonomi ing pirang-pirang negara Eropa lan meksa nindakake kabijakan penghematan, nanging mriksa maneh data kasebut kanthi ati-ati lan taun-taun pangolahan kasebut nuduhake asil sing ngelawan!
Sembarang teknologi ML duwe siklus urip dhewe saka implementasine nganti implementasine. Tujuan saka metodologi anyar yaiku mriksa telung prinsip dhasar ing saben tahapan urip model.
Ringkesan:
- Sawetara proyek dikembangake sing bakal mbantu model ML dadi luwih dipercaya. Iki, contone, deeptune (pranala menyang: );
- Kanggo pangembangan luwih saka metodologi, perlu kanggo ningkatake kualitas publikasi ing bidang ML kanthi signifikan;
- Pembelajaran mesin butuh pimpinan kanthi pelatihan lan keahlian multidisiplin ing bidang teknis lan kamanungsan.
"Pemodelan Perilaku Manungsa kanthi Pembelajaran Mesin: Kesempatan lan Tantangan" Nuria M Oliver, Albert Ali Salah
Kuliah khusus kanggo modeling prilaku manungsa, dhasar teknologi lan prospek aplikasi.
Modeling prilaku manungsa bisa dipérang dadi:
- prilaku individu
- prilaku saka klompok cilik wong
- prilaku massa
Saben jinis kasebut bisa dimodelake nggunakake ML, nanging kanthi informasi lan fitur input sing beda. Saben jinis uga duwe masalah etika dhewe sing ditindakake saben proyek:
- prilaku individu - nyolong identitas, deepfake;
- prilaku klompok wong - de-anonymization, entuk informasi babagan gerakan, telpon, etc.;
prilaku individu
Biasane ana gandhengane karo topik Computer Vision - pangenalan emosi lan reaksi manungsa. Mbok menawa mung ing konteks, ing wektu, utawa kanthi ukuran relatif saka variasi emosi dhewe. Slide nuduhake pangenalan emosi Mona Lisa nggunakake konteks saka spektrum emosi wanita Mediterania. Asil: eseman bungah, nanging karo nistha lan jijik. Alasan kasebut paling mungkin kanthi cara teknis kanggo nemtokake emosi "netral".
Prilaku saka klompok cilik wong
Nganti saiki model paling awon amarga informasi sing ora cukup. Minangka conto, karya saka 2018 - 2019 ditampilake. ing Welasan wong X Welasan video (cf. 100k++ dataset gambar). Kanggo model paling apik tugas iki, informasi multimodal dibutuhake, luwih saka sensor ing awak-altimeter, thermometer, rekaman mikropon, etc.
Kelakuane massal
Wilayah sing paling maju, amarga pelanggan yaiku PBB lan akeh negara. Kamera ndjogo ruangan, data saka menara telpon - tagihan, SMS, telpon, data ing gerakan antarane wates negara - kabeh iki menehi gambar banget dipercaya saka gerakan wong lan instability sosial. Potensi aplikasi teknologi: optimalisasi operasi nylametake, pitulungan lan evakuasi pas wektune populasi nalika darurat. Model sing digunakake utamane isih kurang diinterpretasikake - iki macem-macem LSTM lan jaringan convolutional. Ana komentar ringkes yen PBB nglobi undang-undang anyar sing bakal mewajibake bisnis Eropa nuduhake data anonim sing dibutuhake kanggo riset apa wae.
"From System 1 to System 2 Deep Learning", Yoshua Bengio
Ing kuliah Joshua Bengio, sinau jero ketemu neurosains ing tingkat setelan gol.
Bengio ngenali rong jinis masalah utama miturut metodologi pemenang Nobel Daniel Kahneman (buku "")
jinis 1 - Sistem 1, tumindak semaput sing kita nindakake "otomatis" (otak kuna): nyopir mobil ing panggonan menowo, mlaku-mlaku, pangling pasuryan.
jinis 2 - Sistem 2, tumindak sadar (korteks serebral), setelan goal, analisis, mikir, tugas gabungan.
AI nganti saiki wis cukup dhuwur mung ing tugas saka jinis pisanan, nalika tugas kita kanggo nggawa menyang kaloro, mulang kanggo nindakake operasi multidisiplin lan operate karo logika lan skills kognitif tingkat dhuwur.
Kanggo nggayuh tujuan kasebut diusulake:
- ing tugas NLP, nggunakake manungsa waé minangka mekanisme tombol kanggo modeling pamikiran
- nggunakake meta-learning lan representasi learning kanggo fitur model luwih apik sing mengaruhi eling lan lokalisasi - lan ing basis pindhah menyang operasi karo konsep tingkat sing luwih dhuwur.
Nanging saka kesimpulan, punika Dhiskusi diundang: Bengio iku salah siji saka akeh ilmuwan sing nyoba kanggo nggedhekake lapangan ML ngluwihi masalah Optimization, SOTA lan arsitektur anyar.
Pitakonan tetep mbukak nganti apa kombinasi masalah kesadaran, pengaruh basa ing pamikiran, neurobiologi lan algoritma apa sing nunggu kita ing mangsa ngarep lan bakal ngidini kita pindhah menyang mesin sing "mikir" kaya wong.
Matur suwun!
Source: www.habr.com