NeuroIPS () mao ang pinakadako nga komperensya sa kalibutan sa pagkat-on sa makina ug artipisyal nga paniktik ug ang nag-unang panghitabo sa kalibutan sa lawom nga pagkat-on.
Kita ba, mga inhenyero sa DS, mag-master usab sa biology, linguistics, ug psychology sa bag-ong dekada? Isulti namo kanimo sa among pagrepaso.
Karong tuiga ang komperensya nagtigom ug kapin sa 13500 ka tawo gikan sa 80 ka nasod sa Vancouver, Canada. Dili kini ang unang tuig nga girepresentar sa Sberbank ang Russia sa komperensya - ang grupo sa DS nagsulti bahin sa pagpatuman sa ML sa mga proseso sa pagbabangko, bahin sa kompetisyon sa ML ug bahin sa mga kapabilidad sa platform sa Sberbank DS. Unsa ang mga nag-unang uso sa 2019 sa komunidad sa ML? Ang mga partisipante sa komperensya nag-ingon: и .
Karong tuiga, ang NeurIPS midawat ug labaw sa 1400 ka papel—mga algorithm, bag-ong modelo, ug bag-ong aplikasyon sa bag-ong datos.
Mga Kaundan:
- Mga Kalag
-
- Paghubad sa modelo
- Multidisciplinarity
- Nangatarongan
- RL
- GAN
- Pangunang Dinapit nga mga Pakigpulong
-
- "Social Intelligence", Blaise Aguera ug Arcas (Google)
- "Veridical Data Science", Bin Yu (Berkeley)
- "Pagmodelo sa Panggawi sa Tawo nga adunay Pagkat-on sa Machine: Mga Oportunidad ug Mga Hagit", Nuria M Oliver, Albert Ali Salah
- "Gikan sa System 1 hangtod sa System 2 Deep Learning", Yoshua Bengio
Mga uso sa 2019
1. Model interpretability ug bag-ong ML methodology
Ang panguna nga hilisgutan sa komperensya mao ang paghubad ug ebidensya kung ngano nga nakakuha kami pipila nga mga resulta. Ang usa ka tawo mahimong maghisgot sa dugay nga panahon mahitungod sa pilosopikal nga importansya sa interpretasyon sa "itom nga kahon", apan adunay mas tinuod nga mga pamaagi ug teknikal nga mga kalamboan niini nga dapit.
Ang pamaagi alang sa pagkopya sa mga modelo ug pagkuha sa kahibalo gikan niini usa ka bag-ong toolkit alang sa syensya. Ang mga modelo mahimong magsilbi nga himan alang sa pag-angkon og bag-ong kahibalo ug pagsulay niini, ug ang matag yugto sa preprocessing, pagbansay ug paggamit sa modelo kinahanglan nga reproducible.
Ang usa ka mahinungdanong bahin sa mga publikasyon gipahinungod dili sa pagtukod sa mga modelo ug mga himan, apan sa mga problema sa pagsiguro sa seguridad, transparency ug verifiability sa mga resulta. Sa partikular, usa ka bulag nga sapa ang nagpakita bahin sa mga pag-atake sa modelo (mga pag-atake sa kontra), ug ang mga kapilian alang sa duha nga pag-atake sa pagbansay ug pag-atake sa aplikasyon gikonsiderar.
Mga Artikulo:
- — usa ka programmatic nga artikulo sa pamaagi sa pag-verify sa modelo. Naglakip sa usa ka kinatibuk-ang panan-aw sa modernong mga himan alang sa paghubad sa mga modelo, labi na, ang paggamit sa atensyon ug pag-angkon sa importansya sa bahin pinaagi sa "pagdistino" sa neural network nga adunay mga linear nga modelo.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Raff
Gipakita sa ExBert.net ang paghubad sa modelo alang sa mga buluhaton sa pagproseso sa teksto
2. Multidisciplinarity
Aron masiguro ang kasaligan nga pag-verify ug pagpalambo sa mga mekanismo alang sa pag-verify ug pagpalapad sa kahibalo, kinahanglan namon ang mga espesyalista sa mga may kalabutan nga natad nga dungan nga adunay mga kahanas sa ML ug sa natad sa hilisgutan (medisina, linguistics, neurobiology, edukasyon, ug uban pa). Ilabi na nga takus nga matikdan ang labi ka hinungdanon nga presensya sa mga buhat ug mga pakigpulong sa mga neuroscience ug mga siyensya sa panghunahuna - adunay usa ka rapprochement sa mga espesyalista ug ang paghulam sa mga ideya.
Dugang pa niini nga rapprochement, ang multidisciplinarity mitumaw sa hiniusang pagproseso sa impormasyon gikan sa nagkalain-laing mga tinubdan: teksto ug mga litrato, teksto ug mga dula, mga database sa graph + teksto ug mga litrato.
Mga Artikulo:
- Neuroscience + ML —
- VisualQA -
- RL + NLP -
Duha ka mga modelo - strategist ug executive - base sa RL ug NLP play online nga estratehiya
3. Nangatarungan
Ang pagpalig-on sa artificial intelligence usa ka kalihukan padulong sa mga sistema sa pagkat-on sa kaugalingon, "mahunahunaon", pangatarungan ug pangatarungan. Sa partikular, ang causal inference ug commonsense nga pangatarungan nag-uswag. Ang pipila sa mga taho gipahinungod sa meta-learning (bahin sa unsaon pagkat-on sa pagkat-on) ug ang kombinasyon sa mga teknolohiya sa DL nga adunay 1st ug 2nd order logic - ang termino nga Artificial General Intelligence (AGI) nahimong komon nga termino sa mga pakigpulong sa mga mamumulong.
Mga Artikulo:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4.Pagpalig-on sa Pagkat-on
Kadaghanan sa trabaho nagpadayon sa pagpalambo sa tradisyonal nga mga lugar sa RL - DOTA2, Starcraft, nga naghiusa sa mga arkitektura nga adunay computer vision, NLP, mga database sa graph.
Ang usa ka bulag nga adlaw sa komperensya gipahinungod sa usa ka workshop sa RL, diin gipresentar ang arkitektura sa Optimistic Actor Critic Model, labaw sa tanan nga nauna, labi na ang Soft Actor Critic.
Mga Artikulo:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (Preferred Networks); Takahiro Ishikawa (Ang Unibersidad sa Tokyo) [eksternal nga pdf link].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (University of Toronto); Mohammad Norouzi (Google Brain)
Ang mga magdudula sa StarCraft nakigsangka sa modelo sa Alphastar (DeepMind)
5.GAN
Ang mga generative network anaa gihapon sa spotlight: daghang mga trabaho ang naggamit sa vanilla GANs alang sa matematika nga mga pruweba, ug gigamit usab kini sa bag-o, dili kasagaran nga mga paagi (mga modelo sa generative sa graph, nagtrabaho uban sa serye, aplikasyon sa hinungdan-ug-epekto nga mga relasyon sa datos, ug uban pa).
Mga Artikulo:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Sanglit dugang trabaho ang gidawat Sa ubos maghisgot kita bahin sa labing hinungdanon nga mga pakigpulong.
Gidapit nga mga Pakigpulong
"Social Intelligence", Blaise Aguera ug Arcas (Google)
Ang pakigpulong nagpunting sa kinatibuk-ang pamaagi sa pagkat-on sa makina ug ang mga prospect nga nagbag-o sa industriya karon - unsa nga mga kinasang-an ang atong giatubang? Sa unsang paagi molihok ang utok ug ebolusyon, ug nganong gamay ra kaayo ang atong gigamit sa nahibaloan na nato bahin sa pag-ugmad sa natural nga mga sistema?
Ang industriyal nga pag-uswag sa ML kadaghanan nagdungan sa mga milestone sa pag-uswag sa Google, nga nagpatik sa panukiduki niini sa NeurIPS matag tuig:
- 1997 - paglunsad sa mga pasilidad sa pagpangita, unang mga server, gamay nga gahum sa pag-compute
- 2010 – Gilusad ni Jeff Dean ang proyekto sa Google Brain, ang boom sa mga neural network sa sinugdanan.
- 2015 – industriyal nga pagpatuman sa mga neural network, paspas nga pag-ila sa nawong direkta sa lokal nga device, ubos nga lebel nga mga processor nga gipahaom alang sa tensor computing - TPU. Gilunsad sa Google ang Coral ai - usa ka analogue sa raspberry pi, usa ka mini-computer alang sa pagpaila sa mga neural network sa mga eksperimento nga pag-install
- 2017 – Gisugdan sa Google ang pagpalambo sa desentralisadong pagbansay ug paghiusa sa mga resulta sa pagbansay sa neural network gikan sa lainlaing mga device ngadto sa usa ka modelo – sa Android
Karon, usa ka tibuuk nga industriya ang gipahinungod sa seguridad sa datos, pagtipon, ug pagkopya sa mga sangputanan sa pagkat-on sa mga lokal nga aparato.
– usa ka direksyon sa ML diin ang tagsa-tagsa nga mga modelo makakat-on nga independente sa usag usa ug unya gihiusa ngadto sa usa ka modelo (nga walay pagsentro sa tinubdan nga datos), gipasibo alang sa talagsaon nga mga panghitabo, anomaliya, personalization, ug uban pa. Ang tanan nga mga Android device usa ra ka computing supercomputer alang sa Google.
Ang mga generative nga modelo nga gibase sa federated nga pagkat-on usa ka maayong direksyon sa umaabot sumala sa Google, nga "sa unang mga yugto sa pag-uswag sa eksponensial." Ang mga GAN, sumala sa magtutudlo, adunay katakus sa pagkat-on sa pagpadaghan sa masa nga pamatasan sa mga populasyon sa buhi nga mga organismo ug mga algorithm sa panghunahuna.
Gamit ang panig-ingnan sa duha ka yano nga mga arkitektura sa GAN, gipakita nga sa kanila ang pagpangita alang sa usa ka agianan sa pag-optimize naglatagaw sa usa ka lingin, nga nagpasabut nga ang pag-optimize sa ingon dili mahitabo. Sa samang higayon, kini nga mga modelo malampuson kaayo sa pagsundog sa mga eksperimento nga gihimo sa mga biologo sa mga populasyon sa bakterya, nga nagpugos kanila sa pagkat-on og bag-ong mga pamaagi sa pamatasan sa pagpangita sa pagkaon. Makahinapos kita nga lahi ang pagtrabaho sa kinabuhi kaysa sa function sa pag-optimize.
Paglakaw GAN Optimization
Ang tanan nga among gibuhat sa gambalay sa pagkat-on sa makina karon mga pig-ot ug labi ka pormal nga mga buluhaton, samtang kini nga mga pormalismo dili maayo nga pag-generalize ug dili katumbas sa among kahibalo sa hilisgutan sa mga lugar sama sa neurophysiology ug biology.
Ang angay gyud nga manghulam gikan sa natad sa neurophysiology sa umaabot nga umaabot mao ang bag-ong mga arkitektura sa neuron ug usa ka gamay nga pagbag-o sa mga mekanismo sa backpropagation sa mga sayup.
Ang utok sa tawo mismo dili makakat-on sama sa usa ka neural network:
- Wala siyay sulagma nga panguna nga mga input, lakip na ang gibutang sa mga igbalati ug sa pagkabata
- Siya adunay kinaiyanhon nga mga direksyon sa kinaiyanhon nga kalamboan (ang tinguha sa pagkat-on sa pinulongan gikan sa usa ka masuso, paglakaw nga matul-id)
Ang pagbansay sa usa ka indibidwal nga utok usa ka ubos nga lebel nga buluhaton; tingali kinahanglan naton hunahunaon ang "mga kolonya" sa paspas nga pagbag-o sa mga indibidwal nga nagpasa sa kahibalo sa usag usa aron mabag-o ang mga mekanismo sa ebolusyon sa grupo.
Unsa ang mahimo natong gamiton sa mga algorithm sa ML karon:
- Ibutang ang mga modelo sa linya sa cell nga nagsiguro sa pagkat-on sa populasyon, apan ang mubo nga kinabuhi sa indibidwal ("indibidwal nga utok")
- Pipila ka shot nga pagkat-on gamit ang gamay nga gidaghanon sa mga pananglitan
- Mas komplikado nga mga istruktura sa neuron, gamay nga lainlaing mga gimbuhaton sa pagpaaktibo
- Pagbalhin sa "genome" sa sunod nga mga henerasyon - backpropagation algorithm
- Sa higayon nga makonektar nato ang neurophysiology ug neural network, makakat-on kita sa paghimo sa usa ka multifunctional nga utok gikan sa daghang mga sangkap.
Gikan niini nga punto sa panglantaw, ang praktis sa mga solusyon sa SOTA makadaot ug kinahanglan nga usbon alang sa pagpalambo sa komon nga mga buluhaton (mga benchmark).
"Veridical Data Science", Bin Yu (Berkeley)
Ang taho gipahinungod sa problema sa paghubad sa mga modelo sa pagkat-on sa makina ug ang pamaagi alang sa ilang direkta nga pagsulay ug pag-verify. Ang bisan unsang nabansay nga modelo sa ML mahimong isipon nga gigikanan sa kahibalo nga kinahanglan makuha gikan niini.
Sa daghang mga lugar, labi na sa medisina, imposible ang paggamit sa usa ka modelo kung wala’y pagkuha sa kini nga tinago nga kahibalo ug paghubad sa mga sangputanan sa modelo - kung dili, dili kita makasiguro nga ang mga sangputanan mahimong lig-on, dili random, kasaligan, ug dili makapatay sa mapailubon. Ang usa ka tibuuk nga direksyon sa pamaagi sa trabaho nag-uswag sulod sa lawom nga paradigm sa pagkat-on ug lapas sa mga utlanan niini - veridical data science. Unsa ni?
Gusto namon nga makab-ot ang ingon nga kalidad sa siyentipikong mga publikasyon ug pag-reproducibility sa mga modelo nga sila:
- matag-an
- computable
- lig-on
Kining tulo ka mga prinsipyo nahimong basehan sa bag-ong metodolohiya. Sa unsang paagi masusi ang mga modelo sa ML batok sa kini nga mga pamatasan? Ang pinakasayon nga paagi mao ang paghimo dayon nga mahubad nga mga modelo (regressions, decision trees). Bisan pa, gusto usab namon nga makuha dayon ang mga benepisyo sa lawom nga pagkat-on.
Daghang mga paagi aron masulbad ang problema:
- paghubad sa modelo;
- paggamit sa mga pamaagi base sa pagtagad;
- gamita ang mga ensemble sa mga algorithm kung magbansay, ug siguroha nga ang mga linear interpretable nga mga modelo makakat-on sa pagtagna sa parehas nga mga tubag sa neural network, paghubad sa mga bahin gikan sa linear nga modelo;
- pagbag-o ug pagdugang sa datos sa pagbansay. Kini naglakip sa pagdugang sa kasaba, interference, ug data augmentation;
- bisan unsang mga pamaagi nga makatabang sa pagsiguro nga ang mga resulta sa modelo dili basta-basta ug wala magdepende sa menor de edad nga dili gusto nga pagpanghilabot (mga pag-atake sa kontra);
- paghubad sa modelo human sa kamatuoran, human sa pagbansay;
- pagtuon bahin gibug-aton sa lain-laing mga paagi;
- tun-i ang mga kalagmitan sa tanan nga mga pangagpas, pag-apod-apod sa klase.
Pag-atake sa kontra
Ang mga kasaypanan sa pagmodelo mahal alang sa tanan: usa ka panguna nga panig-ingnan mao ang buhat ni Reinhart ug Rogov."Naimpluwensyahan ang mga palisiya sa ekonomiya sa daghang mga nasud sa Europe ug gipugos sila sa pagpadayon sa mga palisiya sa pagdaginot, apan ang usa ka mabinantayon nga pagsusi pag-usab sa datos ug ang ilang pagproseso sa mga tuig sa ulahi nagpakita sa kaatbang nga sangputanan!
Ang bisan unsang teknolohiya sa ML adunay kaugalingon nga siklo sa kinabuhi gikan sa pagpatuman hangtod sa pagpatuman. Ang tumong sa bag-ong pamaagi mao ang pagsusi sa tulo ka sukaranang mga prinsipyo sa matag yugto sa kinabuhi sa modelo.
Katingbanan:
- Daghang mga proyekto ang gihimo nga makatabang sa modelo sa ML nga mahimong mas kasaligan. Kini, pananglitan, deeptune (link sa: );
- Alang sa dugang nga pag-uswag sa pamaagi, kinahanglan nga labi nga mapauswag ang kalidad sa mga publikasyon sa natad sa ML;
- Ang pagkat-on sa makina nanginahanglan mga lider nga adunay multidisciplinary nga pagbansay ug kahanas sa natad sa teknikal ug humanidad.
"Pagmodelo sa Kinaiya sa Tawo nga adunay Pagkat-on sa Machine: Mga Oportunidad ug Mga Hagit" Nuria M Oliver, Albert Ali Salah
Lecture nga gipahinungod sa pagmodelo sa pamatasan sa tawo, ang mga pundasyon sa teknolohiya ug mga prospect sa aplikasyon.
Ang modelo sa pamatasan sa tawo mahimong bahinon sa:
- indibidwal nga kinaiya
- kinaiya sa usa ka gamay nga grupo sa mga tawo
- pangmasang kinaiya
Ang matag usa niini nga mga tipo mahimong mamodelo gamit ang ML, apan adunay hingpit nga lainlain nga impormasyon sa pag-input ug mga bahin. Ang matag tipo usab adunay kaugalingon nga mga isyu sa pamatasan nga giagian sa matag proyekto:
- indibidwal nga kinaiya - pagpangawat sa pagkatawo, deepfake;
- kinaiya sa mga grupo sa mga tawo - de-anonymization, pagkuha sa impormasyon mahitungod sa mga lihok, mga tawag sa telepono, ug uban pa;
indibidwal nga kinaiya
Kasagaran nga may kalabutan sa hilisgutan sa Computer Vision - pag-ila sa mga emosyon ug reaksyon sa tawo. Tingali sa konteksto, sa panahon, o sa relatibong sukod sa iyang kaugalingon nga pagkausab sa mga emosyon. Ang slide nagpakita sa pag-ila sa mga emosyon ni Mona Lisa gamit ang konteksto gikan sa emosyonal nga spectrum sa mga babaye sa Mediteranyo. Resulta: usa ka pahiyom sa kalipay, apan uban ang pagtamay ug kasuko. Ang hinungdan lagmit sa teknikal nga paagi sa pagtino sa usa ka "neutral" nga emosyon.
Paggawi sa usa ka gamay nga grupo sa mga tawo
Sa pagkakaron ang pinakagrabe nga modelo tungod sa kakulang sa impormasyon. Ingon pananglitan, gipakita ang mga buhat gikan sa 2018 - 2019. sa dosena sa mga tawo X dosena sa mga video (cf. 100k++ image datasets). Aron labing maayo nga modelo niini nga buluhaton, gikinahanglan ang multimodal nga impormasyon, mas maayo gikan sa mga sensor sa altimeter sa lawas, thermometer, pagrekord sa mikropono, ug uban pa.
Kinaiya sa masa
Ang labing naugmad nga lugar, tungod kay ang kustomer mao ang UN ug daghang mga estado. Sa gawas nga surveillance camera, data gikan sa mga torre sa telepono - billing, SMS, tawag, data sa paglihok sa taliwala sa mga utlanan sa estado - ang tanan nga kini naghatag sa usa ka kaayo kasaligan nga hulagway sa kalihukan sa mga tawo ug sa sosyal nga kawalay kalig-on. Mga potensyal nga aplikasyon sa teknolohiya: pag-optimize sa mga operasyon sa pagluwas, tabang ug tukma sa panahon nga pagbakwit sa populasyon sa panahon sa mga emerhensya. Ang mga modelo nga gigamit kasagaran dili maayo nga gihubad - kini ang lainlaing mga LSTM ug convolutional network. Adunay usa ka mubo nga pahayag nga ang UN nag-lobby alang sa usa ka bag-ong balaod nga mag-obligar sa mga negosyo sa Europe nga ipaambit ang wala mailhi nga datos nga gikinahanglan alang sa bisan unsang panukiduki.
"Gikan sa System 1 hangtod sa System 2 Deep Learning", Yoshua Bengio
Sa lektyur ni Joshua Bengio, ang lawom nga pagkat-on nagtagbo sa neuroscience sa lebel sa pagtakda sa katuyoan.
Giila ni Bengio ang duha ka nag-unang matang sa mga problema sumala sa pamaagi sa Nobel laureate nga si Daniel Kahneman (libro "")
type 1 - System 1, walay panimuot nga mga aksyon nga atong gibuhat "awtomatiko" (karaang utok): pagdrayb sa usa ka sakyanan sa pamilyar nga mga dapit, paglakaw, pag-ila sa mga nawong.
type 2 - System 2, mahunahunaon nga mga aksyon (cerebral cortex), pagtakda sa tumong, pagtuki, paghunahuna, mga buluhaton nga gihiusa.
Ang AI sa pagkakaron nakaabot sa igo nga gitas-on lamang sa mga buluhaton sa unang matang, samtang ang among tahas mao ang pagdala niini ngadto sa ikaduha, pagtudlo niini sa paghimo sa multidisciplinary nga mga operasyon ug pag-operate nga adunay lohika ug taas nga lebel sa mga kahanas sa panghunahuna.
Aron makab-ot kini nga katuyoan gisugyot:
- sa mga buluhaton sa NLP, gamita ang atensyon ingon usa ka yawe nga mekanismo alang sa pagmodelo sa panghunahuna
- gamita ang meta-learning ug representasyon nga pagkat-on aron mas maayo nga modelo nga mga bahin nga makaimpluwensya sa panimuot ug sa ilang lokalisasyon - ug sa ilang basehan magpadayon sa pag-operate sa mas taas nga lebel nga mga konsepto.
Imbis usa ka konklusyon, ania ang usa ka giimbitahan nga pakigpulong: Si Bengio usa sa daghang mga siyentipiko nga naningkamot sa pagpalapad sa natad sa ML lapas sa mga problema sa pag-optimize, SOTA ug mga bag-ong arkitektura.
Ang pangutana nagpabilin nga bukas kung unsa ang gidak-on sa kombinasyon sa mga problema sa panimuot, ang impluwensya sa pinulongan sa panghunahuna, neurobiology ug mga algorithm mao ang naghulat kanato sa umaabot ug magtugot kanato sa pagbalhin ngadto sa mga makina nga "naghunahuna" sama sa mga tawo.
Спасибо!
Source: www.habr.com