NeuroIPS () ay ang pinakamalaking conference sa mundo sa machine learning at artificial intelligence at ang pangunahing kaganapan sa mundo ng deep learning.
Kami ba, mga DS-engineer, ay makakabisado rin ba ng biology, linguistics, psychology sa bagong dekada? Sasabihin namin sa iyo sa aming pagsusuri.
Sa taong ito, pinagsama-sama ng kumperensya ang higit sa 13500 katao mula sa 80 bansa sa Vancouver (Canada). Ang Sberbank ay kumakatawan sa Russia sa kumperensya sa loob ng maraming taon — nagsalita ang koponan ng DS tungkol sa pagpapakilala ng ML sa mga proseso ng pagbabangko, tungkol sa kompetisyon ng ML, at tungkol sa mga kakayahan ng platform ng Sberbank DS. Ano ang mga pangunahing trend ng 2019 sa komunidad ng ML? Ang mga kalahok sa kumperensya ay nagsasabi: и .
Mahigit sa 1400 papel ang tinanggap sa NeurIPS ngayong taon - mga algorithm, bagong modelo, at bagong aplikasyon sa bagong data.
Nilalaman:
- Mga Trend
-
- Pagbibigay-kahulugan sa Modelo
- Multidisciplinarity
- pangangatwiran
- RL
- GAN
- Mga Pangunahing Inimbitahang Pag-uusap
-
- “Social Intelligence”, Blaise Aguera y Arcas (Google)
- “Veridical Data Science”, Bin Yu (Berkeley)
- “Human Behavior Modeling with Machine Learning: Opportunities and Challenges”, Nuria M Oliver, Albert Ali Salah
- "Mula sa System 1 hanggang System 2 Deep Learning", Yoshua Bengio
2019 Trends of the Year
1. Interpretability ng mga modelo at bagong ML methodology
Ang pangunahing paksa ng kumperensya ay interpretasyon at ebidensya kung bakit tayo nakakakuha ng ilang partikular na resulta. Maaari kang makipag-usap nang mahabang panahon tungkol sa pilosopikal na kahalagahan ng interpretasyon ng "itim na kahon", ngunit mayroong mas totoong mga pamamaraan at teknikal na pag-unlad sa lugar na ito.
Ang pamamaraan ng muling paggawa ng mga modelo at pagkuha ng kaalaman mula sa kanila ay isang bagong toolkit ng agham. Ang mga modelo ay maaaring magsilbi bilang isang tool para sa pagkuha ng bagong kaalaman at pagsubok nito, at ang bawat hakbang ng preprocessing, pagsasanay at aplikasyon ng modelo ay dapat na muling gawin.
Ang isang makabuluhang proporsyon ng mga publikasyon ay nakatuon hindi sa pagtatayo ng mga modelo at tool, ngunit sa mga problema sa pagtiyak ng seguridad, transparency at pagpapatunay ng mga resulta. Sa partikular, lumitaw ang isang hiwalay na stream tungkol sa mga pag-atake sa modelo (mga pag-atake ng adversarial), at ang parehong mga pag-atake sa pag-aaral at pag-atake sa aplikasyon ay isinasaalang-alang.
artikulo:
- — isang artikulo sa patakaran sa pamamaraan ng pag-verify ng modelo. May kasamang pangkalahatang-ideya ng mga modernong tool para sa pagbibigay-kahulugan sa mga modelo, sa partikular, ang paggamit ng atensyon at pagkuha ng kahalagahan ng tampok dahil sa "paglilinis" ng isang neural network na may mga linear na modelo.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sarah Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Raff
Nagpapakita ang ExBert.net ng Interpretasyon ng mga Modelo para sa Mga Gawain sa Pagproseso ng Salita
2. Multidisciplinarity
Upang matiyak ang maaasahang pag-verify at bumuo ng mga mekanismo para sa pagsusuri at muling pagdaragdag ng kaalaman, kinakailangan ang mga espesyalista sa mga kaugnay na larangan na sabay-sabay na may mga kakayahan sa ML at sa lugar ng paksa (gamot, linguistics, neuroscience, edukasyon, atbp.). Ang partikular na tala ay ang mas makabuluhang pagkakaroon ng mga gawa at presentasyon sa neurosciences at cognitive sciences - mayroong isang convergence ng mga espesyalista at paghiram ng mga ideya.
Bilang karagdagan sa rapprochement na ito, ang multidisciplinarity ay nakabalangkas sa pinagsamang pagproseso ng impormasyon mula sa iba't ibang mga mapagkukunan: teksto at larawan, teksto at mga laro, mga database ng graph + teksto at mga larawan.
artikulo:
- Neurobiology + ML -
- VisualQA -
- RL + NLP -
Dalawang modelo - strategist at performer - batay sa RL at NLP play online na diskarte
3. Nangangatuwiran
Ang pagpapalakas ng artificial intelligence ay isang kilusan patungo sa mga sistema ng pag-aaral sa sarili, "malay", pangangatwiran at pangangatwiran (pangangatwiran). Sa partikular, umuunlad ang causal inference at commonsense reasoning. Ang bahagi ng mga ulat ay nakatuon sa meta-learning (kung paano matutong matuto) at ang kumbinasyon ng mga teknolohiya ng DL na may lohika ng 1st at 2nd order - ang terminong Artificial General Intelligence (AGI) ay nagiging isang karaniwang termino sa mga talumpati ng mga nagsasalita.
artikulo:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4.Reinforcement Learning
Karamihan sa mga gawain ay patuloy na bumuo ng mga tradisyonal na lugar ng RL - DOTA2, Starcraft, pinagsasama ang mga arkitektura sa computer vision, NLP, mga database ng graph.
Ang isang hiwalay na araw ng kumperensya ay inilaan sa RL workshop, na ipinakita ang arkitektura ng Optimistic Actor Critic Model, na higit sa lahat ng nauna, sa partikular na Soft Actor Critic.
artikulo:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (Preferred Networks); Takahiro Ishikawa (The University of Tokyo) [external pdf link].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (University of Toronto); Mohammad Norouzi (Google Brain)
Ang mga manlalaro ng StarCraft ay nakikipaglaban sa modelong Alphastar (DeepMind)
5.GAN
Ang mga generative network ay nasa spotlight pa rin: maraming trabaho ang gumagamit ng mga vanilla GAN para sa mathematical proofs, pati na rin ang paglalapat ng mga ito sa bago, hindi pangkaraniwang mga paraan (graph generative models, nagtatrabaho sa serye, nag-aaplay sa mga sanhi ng relasyon sa data, atbp.).
artikulo:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Dahil mas tinanggap ang trabaho Sa ibaba ay i-highlight namin ang pinakamahalagang pagtatanghal.
Mga Inimbitahang Pag-uusap
“Social Intelligence”, Blaise Aguera y Arcas (Google)
Ang ulat ay nakatuon sa pangkalahatang pamamaraan ng pag-aaral ng makina at ang mga prospect na nagbabago sa industriya ngayon - anong sangang-daan ang kinakaharap natin? Paano gumagana ang utak at ebolusyon, at bakit hindi natin gaanong ginagamit ang nalalaman na natin tungkol sa pagbuo ng mga natural na sistema?
Ang pang-industriya na pag-unlad ng ML ay higit na tumutugma sa mga milestone sa pagbuo ng Google, na nagpa-publish ng pananaliksik nito sa NeurIPS taon-taon:
- 1997 - paglunsad ng mga pasilidad sa paghahanap, mga unang server, mababang kapangyarihan sa pag-compute
- 2010 - Inilunsad ni Jeff Dean ang proyekto ng Google Brain, ang neural network boom sa pinakasimula
- 2015 - pang-industriya na pagpapatupad ng mga neural network, mabilis na pagkilala sa mukha nang direkta sa lokal na aparato, mababang antas na mga processor, pinatalas para sa tensor computing - TPU. Inilunsad ng Google ang Coral ai - isang analogue ng raspberry pi, isang mini-computer para sa pagpapakilala ng mga neural network sa mga pang-eksperimentong setup
- 2017 - Nagsimula ang Google sa pagbuo ng desentralisadong pag-aaral at pagsasama-sama ng mga resulta ng pagsasanay sa neural network mula sa iba't ibang device sa isang modelo - sa android
Ngayon, ang isang buong industriya ay nakatuon sa seguridad ng data, pagsasama-sama at pagtitiklop ng mga resulta ng pag-aaral sa mga lokal na device.
- ang direksyon ng ML, kung saan ang mga indibidwal na modelo ay natututo nang nakapag-iisa mula sa isa't isa, at pagkatapos ay pinagsama sa isang solong modelo (nang walang sentralisasyon ng source data), inaayos para sa mga bihirang kaganapan, anomalya, personalization, atbp. Ang lahat ng mga Android device ay mahalagang isang solong computing supercomputer para sa Google.
Ang mga generative na modelo batay sa federated learning ay isang magandang direksyon sa hinaharap ayon sa Google, na "sa mga unang yugto ng exponential growth." Ang mga GAN, ayon sa lektor, ay natututo kung paano magparami ng mass na pag-uugali ng mga populasyon ng mga nabubuhay na organismo, mga algorithm ng pag-iisip.
Gamit ang halimbawa ng dalawang simpleng arkitektura ng GAN, ipinapakita na sa kanila ang paghahanap para sa isang landas ng pag-optimize ay gumagala sa isang bilog, na nangangahulugan na ang pag-optimize ay hindi nangyayari nang ganoon. Kasabay nito, matagumpay na ginagaya ng mga modelong ito ang mga eksperimento na inilalagay ng mga biologist sa mga populasyon ng bakterya, na pinipilit silang matuto ng mga bagong diskarte para sa pag-uugali sa paghahanap ng pagkain. Maaari itong tapusin na ang buhay ay gumagana nang iba kaysa sa pag-optimize ng function.
Wandering GAN optimization
Lahat ng ginagawa namin sa balangkas ng machine learning ngayon ay makitid at lubos na pormal na mga gawain, habang ang mga pormalismong ito ay hindi gaanong pangkalahatan at hindi tumutugma sa aming kaalaman sa paksa sa mga lugar tulad ng neurophysiology at biology.
Ang talagang nagkakahalaga ng paghiram mula sa larangan ng neurophysiology sa malapit na hinaharap ay ang mga bagong arkitektura ng neuron at isang maliit na rebisyon ng mga mekanismo ng backpropagation.
Ang utak ng tao mismo ay natututo hindi tulad ng isang neural network:
- Wala siyang random na pangunahing input, kabilang ang mga inilatag sa pamamagitan ng mga pandama at sa pagkabata.
- Siya ay naglatag ng mga direksyon ng likas na pag-unlad (ang pagnanais na matuto ng isang wika mula sa isang sanggol, tuwid na postura)
Ang pagsasanay sa isang indibidwal na utak ay isang mababang antas na gawain, marahil ay dapat nating isaalang-alang ang "mga kolonya" ng mabilis na pagbabago ng mga indibidwal na nagpapasa ng kaalaman sa isa't isa upang muling buuin ang mga mekanismo ng ebolusyon ng grupo.
Ano ang maaari nating gamitin sa mga algorithm ng ML ngayon:
- Ilapat ang mga modelo ng cell lineage na nagbibigay ng pag-aaral ng populasyon, ngunit isang maikling indibidwal na buhay ("indibidwal na utak")
- Ilang-shot na pag-aaral sa isang maliit na bilang ng mga halimbawa
- Mas kumplikadong mga istruktura ng neuron, bahagyang magkakaibang mga pag-andar sa pag-activate
- Paglilipat ng “Genome” sa Mga Susunod na Henerasyon – Backpropagation Algorithm
- Kapag pinagsama natin ang neurophysiology at neural network, matututunan natin kung paano bumuo ng multifunctional na utak mula sa maraming bahagi.
Mula sa puntong ito ng pananaw, ang pagsasagawa ng mga solusyon sa SOTA ay nakakapinsala at dapat suriin pabor sa pagbuo ng mga karaniwang gawain (mga benchmark).
“Veridical Data Science”, Bin Yu (Berkeley)
Ang ulat ay nakatuon sa problema ng interpretasyon ng mga modelo ng machine learning at ang pamamaraan ng kanilang direktang pagsubok at pag-verify. Anumang sinanay na modelo ng ML ay maaaring maisip bilang isang mapagkukunan ng kaalaman na kailangang kunin mula dito.
Sa maraming lugar, lalo na sa medisina, imposible ang paggamit ng modelo nang hindi kinukuha ang nakatagong kaalaman na ito at binibigyang-kahulugan ang mga resulta ng modelo - kung hindi, hindi tayo makatitiyak na ang mga resulta ay magiging matatag, hindi random, maaasahan, at hindi patayin ang pasyente. Ang isang buong lugar ng pamamaraan ng trabaho ay umuunlad sa loob ng malalim na paradigma sa pag-aaral at lumalampas dito - veridical data science. Ano ito?
Gusto naming makamit ang ganoong kalidad ng mga siyentipikong publikasyon at muling paggawa ng mga modelo na ang mga ito ay:
- mahuhulaan
- computable
- matatag
Ang tatlong prinsipyong ito ay bumubuo ng batayan ng bagong pamamaraan. Paano masusuri ang mga modelo ng ML laban sa mga pamantayang ito? Ang pinakamadaling paraan ay ang pagbuo ng mga modelong madaling maipaliwanag (regressions, decision trees). Gayunpaman, gusto rin naming makuha ang mga agarang benepisyo ng malalim na pag-aaral.
Maraming mga umiiral na paraan upang malutas ang problema:
- bigyang-kahulugan ang modelo;
- gumamit ng mga pamamaraan batay sa atensyon;
- gumamit ng ensembles ng mga algorithm kapag nag-aaral, at tiyaking natututo ang mga linear interpretable na modelo na hulaan ang parehong mga sagot bilang isang neural network, na nagbibigay-kahulugan sa mga feature mula sa isang linear na modelo;
- baguhin at dagdagan ang data ng pagsasanay. Kabilang dito ang pagdaragdag ng ingay, interference, at pagpapalaki ng data;
- anumang mga pamamaraan na tinitiyak na ang mga resulta ng modelo ay hindi random at hindi nakadepende sa maliit na hindi gustong panghihimasok (adversarial attacks);
- bigyang-kahulugan ang modelo pagkatapos ng katotohanan, pagkatapos ng pagsasanay;
- pag-aralan ang mga tampok na timbang sa iba't ibang paraan;
- pag-aralan ang mga probabilidad ng lahat ng hypotheses, ang pamamahagi ng mga klase.
Pag-atake ng kalaban
Ang mga pagkakamali sa pagmomodelo ay magastos sa lahat: ang isang malinaw na halimbawa ay ang gawa nina Reinhart at Rogov ""Naimpluwensyahan ang patakarang pang-ekonomiya ng maraming bansa sa Europa at pinilit silang ituloy ang isang patakaran ng pagtitipid, ngunit ang isang maingat na pagsusuri ng data at ang kanilang pagproseso ng mga taon ay nagpakita ng kabaligtaran na resulta!
Ang anumang teknolohiya ng ML ay may sariling ikot ng buhay mula sa pagpapatupad hanggang sa pagpapatupad. Ang layunin ng bagong pamamaraan ay subukan ang tatlong pangunahing prinsipyo sa bawat yugto ng buhay ng modelo.
Mga Resulta:
- Maraming proyekto ang ginagawa na makakatulong sa modelo ng ML na maging mas maaasahan. Ito ay, halimbawa, deeptune (link sa: );
- Para sa karagdagang pag-unlad ng pamamaraan, kinakailangan upang makabuluhang mapabuti ang kalidad ng mga publikasyon sa larangan ng ML;
- Ang machine learning ay nangangailangan ng mga lider na may multidisciplinary na pagsasanay at kadalubhasaan sa parehong teknikal at pantao na larangan.
"Pagmomodelo ng Ugali ng Tao gamit ang Machine Learning: Mga Oportunidad at Hamon" Nuria M Oliver, Albert Ali Salah
Lecture na nakatuon sa pagmomodelo ng pag-uugali ng tao, ang mga teknolohikal na pundasyon nito at mga prospect para sa mga aplikasyon.
Ang pagmomodelo ng pag-uugali ng tao ay maaaring nahahati sa:
- indibidwal na pag-uugali
- pag-uugali ng maliit na grupo
- pag-uugali ng masa
Ang bawat isa sa mga uri na ito ay pumapayag sa pagmomodelo gamit ang ML, ngunit may ganap na magkakaibang impormasyon sa pag-input at mga tampok. Ang bawat uri ay mayroon ding sariling mga isyung etikal na pinagdadaanan ng bawat proyekto:
- indibidwal na pag-uugali - pagnanakaw ng pagkakakilanlan, deepfake;
- ang pag-uugali ng mga grupo ng mga tao - deanonymization, pagkuha ng impormasyon tungkol sa mga paggalaw, mga tawag sa telepono, atbp.;
indibidwal na pag-uugali
Sa mas malaking lawak, ito ay may kinalaman sa paksa ng Computer Vision - pagkilala sa mga damdamin ng tao, ang kanyang mga reaksyon. Ito ay posible lamang sa konteksto, sa oras, o sa relatibong sukat ng kanyang sariling pagkakaiba-iba ng mga damdamin. Sa slide - pagkilala sa mga emosyon ni Mona Lisa sa tulong ng konteksto mula sa emosyonal na spectrum ng mga babaeng Mediterranean. Ang resulta: isang ngiti ng kagalakan, ngunit may paghamak at pagkasuklam. Ang dahilan ay malamang sa teknikal na paraan ng pagtukoy ng isang "neutral" na damdamin.
Pag-uugali ng isang maliit na grupo ng mga tao
Sa ngayon, ito ang pinakamasamang namodelo dahil sa hindi sapat na impormasyon. Bilang halimbawa, ipinakita ang mga gawa ng 2018-2019. sa dose-dosenang mga tao X dose-dosenang mga video (cf. 100k++ na mga dataset ng larawan). Para sa pinakamahusay na pagmomodelo sa loob ng balangkas ng gawaing ito, ang multimodal na impormasyon ay kinakailangan, mas mabuti mula sa mga sensor sa isang body-altimeter, thermometer, pag-record mula sa isang mikropono, atbp.
Maramihang Pag-uugali
Ang pinaka-binuo na direksyon, dahil ang UN at maraming estado ay kumikilos bilang customer. Mga surveillance camera, data ng tore ng telepono - pagsingil, SMS, mga tawag, data sa paggalaw sa pagitan ng mga hangganan ng estado - lahat ng ito ay nagbibigay ng isang napaka-maaasahang larawan ng paggalaw ng mga daloy ng mga tao, ng mga kawalang-katatagan ng lipunan. Mga potensyal na aplikasyon ng teknolohiya: pag-optimize ng mga operasyon sa pagsagip, pagbibigay ng tulong at napapanahong paglikas ng populasyon sa kaso ng emerhensiya. Ang mga modelong ginamit ay halos hindi gaanong binibigyang-kahulugan sa ngayon - ito ay iba't ibang LSTM at convolutional network. Mayroong maikling pahayag na ang UN ay naglo-lobby para sa isang bagong batas na mag-oobliga sa mga negosyong European na magbahagi ng hindi kilalang data na kinakailangan para sa anumang pananaliksik.
"Mula sa System 1 hanggang System 2 Deep Learning", Yoshua Bengio
Sa isang lecture ni Joshua Bengio, ang malalim na pag-aaral ay nakakatugon sa neuroscience sa antas ng pagtatakda ng layunin.
Tinutukoy ni Bengio ang dalawang pangunahing uri ng mga problema ayon sa pamamaraan ng Nobel laureate na si Daniel Kahneman (aklat "")
type 1 - System 1, walang malay na mga aksyon na ginagawa natin "sa makina" (sinaunang utak): pagmamaneho ng kotse sa mga pamilyar na lugar, paglalakad, pagkilala sa mga mukha.
uri 2 - System 2, may malay na mga aksyon (cerebral cortex), pagtatakda ng layunin, pagsusuri, pag-iisip, mga compound na gawain.
Sa ngayon, ang AI ay naabot lamang ang sapat na taas sa mga gawain ng unang uri, habang ang aming gawain ay dalhin ito sa pangalawa, sa pamamagitan ng pagtuturo nito na magsagawa ng mga multidisciplinary na operasyon at gumana nang may lohika, mataas na antas ng mga kasanayan sa pag-iisip.
Upang makamit ang layuning ito, iminungkahi:
- gamitin ang atensyon bilang isang pangunahing mekanismo para sa pagmomodelo ng pag-iisip sa mga gawain sa NLP
- gumamit ng meta-learning at pagkatuto ng representasyon upang mas mahusay na magmodelo ng mga feature na nakakaapekto sa kamalayan at kanilang lokalisasyon - at sa kanilang batayan ay lumipat sa pagpapatakbo gamit ang mga mas mataas na antas na konsepto.
Sa halip na isang konklusyon, nag-iiwan kami ng isang inimbitahang entry sa usapan: Si Bengio ay isa sa maraming siyentipiko na nagsisikap na palawakin ang larangan ng ML nang higit pa sa mga problema sa pag-optimize, SOTA at mga bagong arkitektura.
Ang tanong ay nananatiling bukas kung hanggang saan ang kumbinasyon ng mga problema ng kamalayan, ang impluwensya ng wika sa pag-iisip, neuroscience at mga algorithm ang naghihintay sa atin sa hinaharap at magpapahintulot sa atin na lumipat sa mga makina na "nag-iisip" tulad ng mga tao.
Salamat sa iyo!
Pinagmulan: www.habr.com