NeuroIPS () hija l-akbar konferenza fid-dinja dwar it-tagħlim tal-magni u l-intelliġenza artifiċjali u l-avveniment ewlieni fid-dinja tat-tagħlim profond.
Aħna, inġiniera DS, se nikkontrollaw ukoll il-bijoloġija, il-lingwistika u l-psikoloġija fl-għaxar snin il-ġodda? Aħna ser ngħidulek fir-reviżjoni tagħna.
Din is-sena l-konferenza ġabret flimkien aktar minn 13500 persuna minn 80 pajjiż f’Vancouver, il-Kanada. Din mhix l-ewwel sena li Sberbank irrappreżenta lir-Russja fil-konferenza - it-tim DS tkellem dwar l-implimentazzjoni tal-ML fil-proċessi bankarji, dwar il-kompetizzjoni ML u dwar il-kapaċitajiet tal-pjattaforma DS Sberbank. X'kienu x-xejriet ewlenin tal-2019 fil-komunità ML? Il-parteċipanti tal-konferenza jgħidu: и .
Din is-sena, NeurIPS aċċetta aktar minn 1400 karta—algoritmi, mudelli ġodda, u applikazzjonijiet ġodda għal data ġdida.
Kontenut:
- Xejriet
-
- Interpretabilità tal-mudell
- Multidixxiplinarjetà
- Raġunament
- RL
- GAN
- Taħditiet bażiċi mistiedna
-
- “Intelliġenza Soċjali”, Blaise Aguera y Arcas (Google)
- "Xjenza tad-Dejta Veridika", Bin Yu (Berkeley)
- "Immudellar tal-Imġieba tal-Bniedem bit-Tagħlim tal-Magni: Opportunitajiet u Sfidi", Nuria M Oliver, Albert Ali Salah
- "Mis-Sistema 1 sas-Sistema 2 Tagħlim Profond", Yoshua Bengio
Xejriet 2019
1. Interpretabilità tal-mudell u metodoloġija ML ġdida
Is-suġġett ewlieni tal-konferenza huwa l-interpretazzjoni u l-evidenza ta 'għaliex niksbu ċerti riżultati. Wieħed jista 'jitkellem għal żmien twil dwar l-importanza filosofika tal-interpretazzjoni tal-"kaxxa s-sewda", iżda kien hemm aktar metodi reali u żviluppi tekniċi f'dan il-qasam.
Il-metodoloġija għar-replikazzjoni tal-mudelli u l-estrazzjoni tal-għarfien minnhom hija sett ta' għodda ġdida għax-xjenza. Il-mudelli jistgħu jservu bħala għodda biex jinkiseb għarfien ġdid u jiġi ttestjat, u kull stadju ta 'preproċessar, taħriġ u applikazzjoni tal-mudell għandu jkun riproduċibbli.
Proporzjon sinifikanti ta' pubblikazzjonijiet huma ddedikati mhux għall-kostruzzjoni ta' mudelli u għodod, iżda għall-problemi li jiżguraw is-sigurtà, it-trasparenza u l-verifikabbiltà tar-riżultati. B'mod partikolari, deher fluss separat dwar attakki fuq il-mudell (attakki avversarji), u huma kkunsidrati għażliet kemm għal attakki fuq taħriġ kif ukoll attakki fuq applikazzjoni.
Artikoli:
- — artikolu programmatiku dwar il-metodoloġija tal-verifika tal-mudell. Jinkludi ħarsa ġenerali lejn l-għodod moderni għall-interpretazzjoni tal-mudelli, b'mod partikolari, l-użu tal-attenzjoni u l-kisba tal-importanza tal-karatteristiċi billi "distillat" in-netwerk newrali b'mudelli lineari.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Raff
ExBert.net juri interpretazzjoni tal-mudell għall-kompiti tal-ipproċessar tat-test
2. Multidixxiplinarità
Biex niżguraw verifika affidabbli u niżviluppaw mekkaniżmi għall-verifika u l-espansjoni tal-għarfien, għandna bżonn speċjalisti f’oqsma relatati li fl-istess ħin ikollhom kompetenzi fl-ML u fil-qasam tas-suġġett (mediċina, lingwistika, newrobijoloġija, edukazzjoni, eċċ.). Ta 'min jinnota b'mod speċjali l-preżenza aktar sinifikanti ta' xogħlijiet u diskorsi fin-newroxjenzi u x-xjenzi konjittivi - hemm tqarrib ta 'speċjalisti u s-self ta' ideat.
Minbarra dan it-tqarrib, qed titfaċċa multidixxiplinarjetà fl-ipproċessar konġunt ta’ informazzjoni minn diversi sorsi: test u ritratti, test u logħob, databases tal-grafiċi + test u ritratti.
Artikoli:
- Newroxjenza + ML —
- VisualQA -
- RL + NLP -
Żewġ mudelli - strateġist u eżekuttiv - ibbażati fuq RL u NLP jilagħbu strateġija onlajn
3. Ir-raġunament
It-tisħiħ tal-intelliġenza artifiċjali huwa moviment lejn sistemi ta 'tagħlim awto, "konxju", raġunament u raġunament. B'mod partikolari, qed jiżviluppaw inferenza kawżali u raġunament tas-sens komuni. Uħud mir-rapporti huma ddedikati għall-meta-tagħlim (dwar kif titgħallem titgħallem) u l-kombinazzjoni tat-teknoloġiji DL b'loġika tal-ewwel u t-tieni ordni - it-terminu Intelliġenza Ġenerali Artifiċjali (AGI) qed isir terminu komuni fid-diskorsi tal-kelliema.
Artikoli:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4.Tagħlim ta' Tisħiħ
Ħafna mix-xogħol ikompli jiżviluppa oqsma tradizzjonali ta 'RL - DOTA2, Starcraft, li jgħaqqad arkitetturi ma' viżjoni tal-kompjuter, NLP, databases tal-grafiċi.
Ġurnata separata tal-konferenza kienet iddedikata għal workshop RL, li fih ġiet ippreżentata l-arkitettura tal-Mudell tal-Kritiku tal-Attur Ottimist, superjuri għal dawk kollha preċedenti, b'mod partikolari l-Kritiku tal-Attur Soft.
Artikoli:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Netwerks Preferuti, Inc.)*; Toshiki Kataoka (Netwerks Preferuti, Inc.); Prabhat Nagarajan (Netwerks Preferuti); Takahiro Ishikawa (L-Università ta 'Tokjo) [link pdf esterna].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Università ta’ Toronto); Mohammad Norouzi (Google Brain)
Il-plejers ta' StarCraft jiġġieldu l-mudell Alphastar (DeepMind)
5.GAN
Netwerks ġenerattivi għadhom fl-attenzjoni: ħafna xogħlijiet jużaw GANs tal-vanilla għal provi matematiċi, u japplikawhom ukoll b'modi ġodda u mhux tas-soltu (mudelli ġenerattivi tal-graff, ħidma b'serje, applikazzjoni għal relazzjonijiet ta 'kawża u effett fid-dejta, eċċ.).
Artikoli:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Peress li aktar xogħol ġie aċċettat Hawn taħt se nitkellmu dwar l-aktar diskorsi importanti.
Taħditiet mistiedna
“Intelliġenza Soċjali”, Blaise Aguera y Arcas (Google)
It-taħdita tiffoka fuq il-metodoloġija ġenerali tat-tagħlim tal-magni u l-prospetti li jbiddlu l-industrija bħalissa - liema salib it-toroq qed niffaċċjaw? Kif jaħdmu l-moħħ u l-evoluzzjoni, u għaliex nagħmlu użu daqshekk żgħir minn dak li diġà nafu dwar l-iżvilupp tas-sistemi naturali?
L-iżvilupp industrijali tal-ML fil-biċċa l-kbira jikkoinċidi mal-istadji importanti tal-iżvilupp ta 'Google, li jippubblika r-riċerka tiegħu dwar NeurIPS sena wara sena:
- 1997 – tnedija ta’ faċilitajiet ta’ tfittxija, l-ewwel servers, qawwa informatika żgħira
- 2010 - Jeff Dean iniedi l-proġett Google Brain, l-isplużjoni tan-netwerks newrali fil-bidu nett
- 2015 – implimentazzjoni industrijali ta 'netwerks newrali, rikonoxximent mgħaġġel tal-wiċċ direttament fuq apparat lokali, proċessuri ta' livell baxx imfassla għall-informatika tat-tensor - TPU. Google tniedi Coral ai - analogu ta 'lampun pi, mini-kompjuter għall-introduzzjoni ta' netwerks newrali f'installazzjonijiet sperimentali
- 2017 - Google jibda jiżviluppa taħriġ deċentralizzat u jgħaqqad ir-riżultati tat-taħriġ tan-netwerk newrali minn apparati differenti f'mudell wieħed - fuq Android
Illum, industrija sħiħa hija ddedikata għas-sigurtà tad-dejta, l-aggregazzjoni, u r-replikazzjoni tar-riżultati tat-tagħlim fuq apparat lokali.
– direzzjoni ta' ML li fiha mudelli individwali jitgħallmu b'mod indipendenti minn xulxin u mbagħad jiġu kkombinati f'mudell wieħed (mingħajr ma tiġi ċentralizzata d-dejta tas-sors), aġġustat għal avvenimenti rari, anomaliji, personalizzazzjoni, eċċ. L-apparati Android kollha huma essenzjalment superkompjuter tal-kompjuter wieħed għal Google.
Mudelli ġenerattivi bbażati fuq tagħlim federat huma direzzjoni futura promettenti skont Google, li tinsab "fl-istadji bikrija ta 'tkabbir esponenzjali." Il-GANs, skond il-lettur, huma kapaċi jitgħallmu jirriproduċu l-imġiba tal-massa ta 'popolazzjonijiet ta' organiżmi ħajjin u algoritmi ta 'ħsieb.
Bl-użu tal-eżempju ta 'żewġ arkitetturi GAN sempliċi, jintwera li fihom it-tfittxija għal mogħdija ta' ottimizzazzjoni tiġġerra f'ċirku, li jfisser li l-ottimizzazzjoni bħala tali ma sseħħx. Fl-istess ħin, dawn il-mudelli huma ta 'suċċess kbir biex jissimulaw l-esperimenti li l-bijoloġisti jwettqu fuq popolazzjonijiet batterjali, u jġiegħelhom jitgħallmu strateġiji ġodda ta' mġiba fit-tfittxija tal-ikel. Nistgħu nikkonkludu li l-ħajja taħdem b'mod differenti mill-funzjoni ta 'ottimizzazzjoni.
Ottimizzazzjoni tal-GAN tal-mixi
Dak kollu li nagħmlu fil-qafas tat-tagħlim tal-magni issa huma ħidmiet dojoq u estremament formalizzati, filwaqt li dawn il-formaliżmu ma jiġġeneralizzawx tajjeb u ma jikkorrispondux mal-għarfien tas-suġġett tagħna f'oqsma bħan-newrofiżjoloġija u l-bijoloġija.
Dak li huwa verament ta 'min jissellef mill-qasam tan-newrofiżjoloġija fil-futur qarib huwa arkitetturi newroni ġodda u reviżjoni żgħira tal-mekkaniżmi ta' backpropagation ta 'żbalji.
Il-moħħ tal-bniedem innifsu ma jitgħallimx bħal netwerk newrali:
- M'għandux inputs primarji każwali, inklużi dawk stabbiliti permezz tas-sensi u fit-tfulija
- Huwa għandu direzzjonijiet inerenti ta 'żvilupp istintiv (ix-xewqa li jitgħallem il-lingwa minn tarbija, jimxi wieqfa)
It-taħriġ ta 'moħħ individwali huwa kompitu ta' livell baxx forsi għandna nikkunsidraw "kolonji" ta 'individwi li qed jinbidlu malajr li jgħaddu l-għarfien lil xulxin biex jirriproduċu l-mekkaniżmi tal-evoluzzjoni tal-grupp.
Dak li nistgħu nadottaw f'algoritmi ML issa:
- Applika mudelli ta’ nisel taċ-ċelluli li jiżguraw it-tagħlim tal-popolazzjoni, iżda l-ħajja qasira tal-individwu (“moħħ individwali”)
- Tagħlim bi ftit sparatura bl-użu ta’ numru żgħir ta’ eżempji
- Strutturi newroni aktar kumplessi, funzjonijiet ta 'attivazzjoni kemmxejn differenti
- It-trasferiment tal-"ġenoma" għall-ġenerazzjonijiet li jmiss - algoritmu ta 'backpropagation
- Ladarba ngħaqqdu n-newrofiżjoloġija u n-netwerks newrali, nitgħallmu nibnu moħħ multifunzjonali minn ħafna komponenti.
Minn dan il-lat, il-prattika tas-soluzzjonijiet SOTA hija detrimentali u għandha tiġi riveduta sabiex jiġu żviluppati kompiti komuni (benchmarks).
"Xjenza tad-Dejta Veridika", Bin Yu (Berkeley)
Ir-rapport huwa ddedikat għall-problema tal-interpretazzjoni tal-mudelli tat-tagħlim tal-magni u l-metodoloġija għall-ittestjar u l-verifika diretti tagħhom. Kwalunkwe mudell ML imħarreġ jista 'jiġi pperċepit bħala sors ta' għarfien li jeħtieġ li jiġi estratt minnu.
F'ħafna oqsma, speċjalment fil-mediċina, l-użu ta 'mudell huwa impossibbli mingħajr ma jiġi estratt dan l-għarfien moħbi u l-interpretazzjoni tar-riżultati tal-mudell - inkella mhux se nkunu ċerti li r-riżultati se jkunu stabbli, mhux każwali, affidabbli, u mhux se joqtlu l- pazjent. Direzzjoni sħiħa tal-metodoloġija tax-xogħol qed tiżviluppa fi ħdan il-paradigma tat-tagħlim profond u tmur lil hinn mill-konfini tagħha - veridical data science. X'inhu?
Irridu niksbu tali kwalità ta 'pubblikazzjonijiet xjentifiċi u riproduċibbiltà ta' mudelli li huma:
- prevedibbli
- komputabbli
- stabbli
Dawn it-tliet prinċipji jiffurmaw il-bażi tal-metodoloġija l-ġdida. Kif jistgħu jiġu ċċekkjati l-mudelli ML kontra dawn il-kriterji? L-eħfef mod huwa li jinbnew mudelli immedjatament interpretabbli (rigressjonijiet, siġar tad-deċiżjonijiet). Madankollu, irridu wkoll niksbu l-benefiċċji immedjati tat-tagħlim fil-fond.
Diversi modi eżistenti biex taħdem bil-problema:
- tinterpreta l-mudell;
- uża metodi bbażati fuq l-attenzjoni;
- uża ensembles ta 'algoritmi meta tħarreġ, u tiżgura li mudelli interpretabbli lineari jitgħallmu jbassru l-istess tweġibiet bħan-netwerk newrali, jinterpretaw karatteristiċi mill-mudell lineari;
- jibdlu u jkabbru d-dejta tat-taħriġ. Dan jinkludi ż-żieda ta' ħsejjes, interferenza u tkabbir tad-dejta;
- kwalunkwe metodu li jgħin biex jiġi żgurat li r-riżultati tal-mudell ma jkunux każwali u ma jiddependux fuq interferenza minuri mhux mixtieqa (attakki avversarji);
- tinterpreta l-mudell wara l-fatt, wara t-taħriġ;
- piżijiet tal-karatteristiċi tal-istudju b'diversi modi;
- jistudja l-probabbiltajiet tal-ipoteżi kollha, id-distribuzzjoni tal-klassi.
Attakk avversarju
L-iżbalji tal-immudellar jiswew ħafna flus għal kulħadd: eżempju ewlieni huwa x-xogħol ta’ Reinhart u Rogov.”" influwenzat il-politiki ekonomiċi ta 'ħafna pajjiżi Ewropej u ġiegħelhom isegwu politiki ta' awsterità, iżda verifika mill-ġdid bir-reqqa tad-dejta u l-ipproċessar tagħhom snin wara wriet riżultat oppost!
Kwalunkwe teknoloġija ML għandha ċ-ċiklu tal-ħajja tagħha mill-implimentazzjoni sal-implimentazzjoni. L-għan tal-metodoloġija l-ġdida huwa li tivverifika tliet prinċipji bażiċi f'kull stadju tal-ħajja tal-mudell.
Riżultati:
- Qed jiġu żviluppati diversi proġetti li se jgħinu lill-mudell ML ikun aktar affidabbli. Dan huwa, pereżempju, deeptune (link għal: );
- Għal aktar żvilupp tal-metodoloġija, huwa meħtieġ li tittejjeb b'mod sinifikanti l-kwalità tal-pubblikazzjonijiet fil-qasam tal-ML;
- It-tagħlim bil-magni jeħtieġ mexxejja b'taħriġ u kompetenza multidixxiplinarja kemm fl-oqsma tekniċi kif ukoll fl-oqsma umanistiċi.
"Immudellar tal-Imġieba tal-Bniedem bit-Tagħlim tal-Magni: Opportunitajiet u Sfidi" Nuria M Oliver, Albert Ali Salah
Lecture ddedikata għall-immudellar tal-imġieba tal-bniedem, il-pedamenti teknoloġiċi tagħha u l-prospetti tal-applikazzjoni.
L-immudellar tal-imġiba tal-bniedem jista 'jinqasam fi:
- imġieba individwali
- imġieba ta’ grupp żgħir ta’ nies
- imġieba tal-massa
Kull wieħed minn dawn it-tipi jista 'jiġi mmudellat bl-użu ta' ML, iżda b'informazzjoni u karatteristiċi ta 'input kompletament differenti. Kull tip għandu wkoll il-kwistjonijiet etiċi tiegħu stess li jgħaddi minnhom kull proġett:
- imġieba individwali – serq tal-identità, deepfake;
- imġieba ta 'gruppi ta' nies - de-anonimizzazzjoni, kisba ta 'informazzjoni dwar movimenti, telefonati, eċċ.;
imġieba individwali
L-aktar relatat mas-suġġett tal-Viżjoni tal-Kompjuter - rikonoxximent tal-emozzjonijiet u r-reazzjonijiet tal-bniedem. Forsi biss fil-kuntest, fil-ħin, jew bl-iskala relattiva tal-varjabbiltà tiegħu stess ta 'emozzjonijiet. Is-slide turi rikonoxximent tal-emozzjonijiet ta’ Mona Lisa billi tuża kuntest mill-ispettru emozzjonali tan-nisa Mediterranji. Riżultat: tbissima ta’ ferħ, iżda b’disprezz u stmerrija. Ir-raġuni x'aktarx hija fil-mod tekniku ta 'definizzjoni ta' emozzjoni "newtrali".
Imġieba ta 'grupp żgħir ta' nies
S'issa l-agħar mudell huwa minħabba informazzjoni insuffiċjenti. Bħala eżempju, intwerew xogħlijiet mill-2018 – 2019. fuq għexieren ta’ nies X għexieren ta’ vidjows (cf. 100k++ immaġni ta’ datasets). Biex timmudella bl-aħjar mod dan il-kompitu, hija meħtieġa informazzjoni multimodali, preferibbilment minn sensors fuq body-altimeter, termometru, reġistrazzjoni tal-mikrofonu, eċċ.
Imġieba tal-massa
Iż-żona l-aktar żviluppata, peress li l-klijent huwa n-NU u ħafna stati. Kameras ta 'sorveljanza ta' barra, dejta minn torrijiet tat-telefon - kontijiet, SMS, sejħiet, dejta dwar il-moviment bejn il-fruntieri tal-istat - dan kollu jagħti stampa affidabbli ħafna tal-moviment tan-nies u l-instabilità soċjali. Applikazzjonijiet potenzjali tat-teknoloġija: ottimizzazzjoni ta 'operazzjonijiet ta' salvataġġ, assistenza u evakwazzjoni f'waqtha tal-popolazzjoni waqt emerġenzi. Il-mudelli użati huma prinċipalment interpretati ħażin - dawn huma diversi LSTMs u netwerks konvoluzzjonali. Kien hemm rimarka qasira li n-NU kienet qed tagħmel lobbying għal liġi ġdida li tobbliga lin-negozji Ewropej jaqsmu data anonima meħtieġa għal kwalunkwe riċerka.
"Mis-Sistema 1 sas-Sistema 2 Tagħlim Profond", Yoshua Bengio
Fit-taħdita ta’ Joshua Bengio, it-tagħlim fil-fond jiltaqa’ man-newroxjenza fil-livell tal-iffissar tal-miri.
Bengio jidentifika żewġ tipi ewlenin ta’ problemi skont il-metodoloġija tar-rebbieħ Nobel Daniel Kahneman (ktieb “")
tip 1 - Sistema 1, azzjonijiet mitluf minn sensih li nagħmlu "awtomatikament" (moħħ tal-qedem): issuq karozza f'postijiet familjari, mixi, nagħrfu uċuħ.
tip 2 - Sistema 2, azzjonijiet konxji (kortiċi ċerebrali), iffissar ta 'miri, analiżi, ħsieb, kompiti komposti.
L-AI s'issa laħqet għoli biżżejjed biss f'kompiti tal-ewwel tip, filwaqt li l-kompitu tagħna huwa li nġibuha għat-tieni, ngħallmuha twettaq operazzjonijiet multidixxiplinarji u topera b'loġika u ħiliet konjittivi ta' livell għoli.
Biex jintlaħaq dan il-għan huwa propost:
- fil-kompiti NLP, uża l-attenzjoni bħala mekkaniżmu ewlieni għall-immudellar tal-ħsieb
- uża l-meta-tagħlim u t-tagħlim tar-rappreżentazzjoni biex timmudella aħjar karatteristiċi li jinfluwenzaw is-sensi u l-lokalizzazzjoni tagħhom - u fuq il-bażi tagħhom jimxu biex joperaw b'kunċetti ta 'livell ogħla.
Minflok konklużjoni, hawn taħdita mistiedna: Bengio huwa wieħed minn ħafna xjentisti li qed jippruvaw jespandu l-qasam tal-ML lil hinn mill-problemi ta 'ottimizzazzjoni, SOTA u arkitetturi ġodda.
Il-mistoqsija tibqa 'miftuħa sa liema punt il-kombinazzjoni ta' problemi tas-sensi, l-influwenza tal-lingwa fuq il-ħsieb, newrobijoloġija u algoritmi hija dak li jistenniena fil-futur u se jippermettilna nimxu lejn magni li "jaħsbu" bħal nies.
Grazzi!
Sors: www.habr.com