NeuroIPS () is de grutste konferinsje yn 'e wrâld oer masine learen en keunstmjittige yntelliginsje en it wichtichste barren yn' e wrâld fan djip learen.
Sille wy, DS-yngenieurs, yn it nije desennium ek biology, taalkunde en psychology behearskje? Wy sille it jo fertelle yn ús resinsje.
Dit jier brocht de konferinsje mear dan 13500 minsken byinoar út 80 lannen yn Vancouver, Kanada. Dit is net it earste jier dat Sberbank Ruslân hat fertsjintwurdige op 'e konferinsje - it DS-team spruts oer de ymplemintaasje fan ML yn bankprosessen, oer de ML-kompetysje en oer de mooglikheden fan it Sberbank DS-platfoarm. Wat wiene de wichtichste trends fan 2019 yn 'e ML-mienskip? Konferinsje dielnimmers sizze: и .
Dit jier akseptearre NeurIPS mear dan 1400 papieren - algoritmen, nije modellen en nije applikaasjes foar nije gegevens.
Ynhâld:
- Trends
-
- Model ynterpretabiliteit
- Multidissiplinariteit
- Reden
- RL
- GAN
- Basic útnoege petearen
-
- "Sosjale yntelliginsje", Blaise Aguera y Arcas (Google)
- "Veridical Data Science", Bin Yu (Berkeley)
- "Human Behavior Modeling mei Machine Learning: Opportunities and Challenges", Nuria M Oliver, Albert Ali Salah
- "Fan System 1 to System 2 Deep Learning", Yoshua Bengio
Trends 2019
1. Model ynterpretabiliteit en nije ML metodyk
It haadûnderwerp fan 'e konferinsje is ynterpretaasje en bewiis fan wêrom't wy bepaalde resultaten krije. Men kin lang prate oer it filosofyske belang fan 'e "swarte doaze" ynterpretaasje, mar der wiene mear echte metoaden en technyske ûntjouwings op dit mêd.
De metodyk foar it replikearjen fan modellen en it ûntlûken fan kennis út har is in nije toolkit foar wittenskip. Modellen kinne tsjinje as in helpmiddel foar it krijen fan nije kennis en it testen, en elke faze fan foarferwurking, training en tapassing fan it model moat reprodusearber wêze.
In signifikant part fan de publikaasjes is net wijd oan de bou fan modellen en ark, mar oan de problemen fan it garandearjen fan feiligens, transparânsje en ferifiearberens fan resultaten. Benammen in aparte stream is ferskynd oer oanfallen op it model (adversariële oanfallen), en opsjes foar sawol oanfallen op training as oanfallen op tapassing wurde beskôge.
Artikels:
- - in programmatysk artikel oer de metodyk fan modelferifikaasje. Omfettet in oersjoch fan moderne ark foar it ynterpretearjen fan modellen, yn it bysûnder, it brûken fan oandacht en it krijen fan funksje belang troch "distilleren" it neurale netwurk mei lineêre modellen.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Raff
ExBert.net toant modelynterpretaasje foar tekstferwurkingstaken
2. Multidissiplinariteit
Om betroubere ferifikaasje te garandearjen en meganismen te ûntwikkeljen foar it ferifiearjen en útwreidzjen fan kennis, hawwe wy spesjalisten nedich yn besibbe fjilden dy't tagelyk kompetinsjes hawwe yn ML en yn it fakgebiet (medisinen, taalkunde, neurobiology, ûnderwiis, ensfh.). It is foaral de muoite wurdich opskriuwen de mear wichtige oanwêzigens fan wurken en taspraken yn neurosciences en kognitive wittenskippen - der is in toenering fan spesjalisten en lienen fan ideeën.
Njonken dizze toenadering ûntstiet multydissiplinariteit yn de mienskiplike ferwurking fan ynformaasje út ferskate boarnen: tekst en foto's, tekst en spultsjes, grafykdatabases + tekst en foto's.
Artikels:
- Neuroscience + ML -
- VisualQA -
- RL + NLP -
Twa modellen - strategist en útfierend - basearre op RL en NLP spylje online strategy
3. Redenearje
It fersterkjen fan keunstmjittige yntelliginsje is in beweging nei sels-learjende systemen, "bewust", redenearring en redenearring. Benammen kausale konklúzje en gewoane redenearring ûntwikkelje. Guon fan 'e rapporten binne wijd oan meta-learen (oer hoe't jo leare te learen) en de kombinaasje fan DL-technologyen mei logika fan 1e en 2e oarder - de term Artificial General Intelligence (AGI) wurdt in gewoane term yn sprekkers' taspraken.
Artikels:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4.Reinforcement Learning
It grutste part fan it wurk bliuwt te ûntwikkeljen tradisjonele gebieten fan RL - DOTA2, Starcraft, kombinearjen arsjitektuer mei kompjûter fyzje, NLP, grafyske databases.
In aparte dei fan 'e konferinsje waard wijd oan in RL-workshop, wêrby't de arsjitektuer fan 'e Optimistic Actor Critic Model waard presintearre, superieur oan alle eardere, benammen Soft Actor Critic.
Artikels:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (foarkarsnetwurken); Takahiro Ishikawa (De Universiteit fan Tokio) [eksterne pdf-keppeling].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Universiteit fan Toronto); Mohammad Norouzi (Google Brain)
StarCraft-spilers fjochtsje tsjin it Alphastar-model (DeepMind)
5.GAN
Generative netwurken binne noch yn it fuotljocht: in protte wurken brûke vanille GAN's foar wiskundige bewizen, en tapasse se ek op nije, ûngewoane manieren (grafykgenerative modellen, wurkje mei searjes, tapassing op oarsaak-en-effekt relaasjes yn gegevens, ensfh.).
Artikels:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Sûnt mear wurk waard akseptearre Hjirûnder sille wy prate oer de wichtichste taspraken.
Útnoege petearen
"Sosjale yntelliginsje", Blaise Aguera y Arcas (Google)
It petear rjochtet him op 'e algemiene metodyk fan masine learen en de perspektiven dy't de yndustry op it stuit feroarje - mei hokker krúspunt steane wy? Hoe wurkje it brein en evolúsje, en wêrom meitsje wy sa min gebrûk fan wat wy al witte oer de ûntwikkeling fan natuerlike systemen?
De yndustriële ûntwikkeling fan ML komt foar in grut part oerien mei de mylpalen fan 'e ûntwikkeling fan Google, dy't jier nei jier har ûndersyk publisearret oer NeurIPS:
- 1997 - lansearring fan sykfoarsjennings, earste tsjinners, lytse kompjûterkrêft
- 2010 - Jeff Dean lanseart it Google Brain-projekt, de boom fan neurale netwurken oan it begjin
- 2015 - yndustriële ymplemintaasje fan neurale netwurken, rappe gesichtsherkenning direkt op in lokaal apparaat, prosessoren op leech nivo oanpast foar tensor-komputer - TPU. Google lanseart Coral ai - in analoog fan raspberry pi, in mini-kompjûter foar it yntrodusearjen fan neurale netwurken yn eksperimintele ynstallaasjes
- 2017 - Google begjint desintralisearre training te ûntwikkeljen en de resultaten fan training fan neuronale netwurken fan ferskate apparaten te kombinearjen yn ien model - op Android
Tsjintwurdich is in heule yndustry wijd oan gegevensfeiligens, aggregaasje en replikaasje fan learresultaten op lokale apparaten.
- in rjochting fan ML wêryn yndividuele modellen ûnôfhinklik fan elkoar leare en dan wurde kombineare yn ien model (sûnder sintralisearjen fan de boarnegegevens), oanpast foar seldsume eveneminten, anomalies, personalisaasje, ensfh. Alle Android-apparaten binne yn wêzen in inkele komputer-superkomputer foar Google.
Generative modellen basearre op federearre learen binne in belofte takomstige rjochting neffens Google, dat is "yn 'e iere stadia fan eksponinsjele groei." GAN's binne, neffens de dosint, yn steat om te learen om it massagedrach fan populaasjes fan libbene organismen en tinkalgoritmen te reprodusearjen.
Mei it foarbyld fan twa ienfâldige GAN-arsjitektueren wurdt oantoand dat yn har it sykjen nei in optimisaasjepaad yn in sirkel swalket, wat betsjut dat optimisaasje as sadanich net foarkomt. Tagelyk binne dizze modellen tige suksesfol yn it simulearjen fan de eksperiminten dy't biologen útfiere op baktearjele populaasjes, en twinge se om nije gedrachsstrategyen te learen op syk nei iten. Wy kinne konkludearje dat it libben oars wurket as de optimisaasjefunksje.
Walking GAN Optimization
Alles wat wy no dogge yn it ramt fan masine learen binne smelle en ekstreem formalisearre taken, wylst dizze formalismen net goed generalisearje en net oerienkomme mei ús fakkennis op gebieten lykas neurofysiology en biology.
Wat echt de muoite wurdich is te lienen fan it fjild fan neurofysiology yn 'e heine takomst is nije neuron-arsjitektuer en in lichte revyzje fan' e meganismen fan efterpropagaasje fan flaters.
It minsklik brein sels leart net as in neural netwurk:
- Hy hat gjin willekeurige primêre ynput, ynklusyf dy lein troch de sinnen en yn 'e jeugd
- Hy hat ynherinte rjochtingen fan ynstinktive ûntwikkeling (de winsk om taal te learen fan in poppe, rjochtop rinnen)
It oplieden fan in yndividuele harsens is in taak op leech nivo, miskien moatte wy "koloanjes" beskôgje fan rap feroarjende yndividuen dy't kennis oan elkoar trochjaan om de meganismen fan groepevolúsje te reprodusearjen.
Wat wy no kinne oannimme yn ML-algoritmen:
- Tapasse selline-modellen dy't it learen fan 'e befolking garandearje, mar it koarte libben fan it yndividu ("yndividuele harsens")
- Few-shot learen mei in lyts oantal foarbylden
- Mear komplekse neuronstruktueren, wat ferskillende aktivearringsfunksjes
- It "genoom" oerdrage nei folgjende generaasjes - algoritme foar efterpropagaasje
- Sadree't wy ferbine neurophysiology en neurale netwurken, wy sille leare te bouwen fan in multyfunksjoneel harsens út in protte komponinten.
Fanút dit eachpunt is de praktyk fan SOTA-oplossingen skealik en moat wurde herzien om 'e wille fan it ûntwikkeljen fan mienskiplike taken (benchmarks).
"Veridical Data Science", Bin Yu (Berkeley)
It rapport is wijd oan it probleem fan ynterpretaasje fan modellen foar masinelearen en de metodyk foar har direkte testen en ferifikaasje. Elk oplaat ML-model kin wurde waarnommen as in boarne fan kennis dy't derút helle wurde moat.
Op in protte gebieten, benammen yn 'e medisinen, is it gebrûk fan in model ûnmooglik sûnder dizze ferburgen kennis te ekstrahearjen en de resultaten fan it model te ynterpretearjen - oars sille wy net wis wêze dat de resultaten stabyl, net-willekeurich, betrouber sille wêze en de resultaten net sille deadzje. geduldich. In hiele rjochting fan wurkmetodology ûntwikkelet binnen it djippe learparadigma en giet oer syn grinzen - wiere gegevenswittenskip. Wat is it?
Wy wolle sa'n kwaliteit fan wittenskiplike publikaasjes en reprodusearberens fan modellen berikke dat se binne:
- foarsisber
- berekkenber
- stâl
Dizze trije prinsipes foarmje de basis fan 'e nije metodyk. Hoe kinne ML-modellen wurde kontrolearre oan dizze kritearia? De maklikste manier is om direkt ynterpretabele modellen te bouwen (regressions, beslútbeammen). Wy wolle lykwols ek de direkte foardielen krije fan djip learen.
Ferskate besteande manieren om mei it probleem te wurkjen:
- ynterpretearje it model;
- brûke metoaden basearre op oandacht;
- brûke ensembles fan algoritmen by training, en soargje derfoar dat lineêre ynterpretabele modellen leare om deselde antwurden te foarsizzen as it neuronale netwurk, ynterpretearjen fan funksjes út it lineêre model;
- trainingsgegevens feroarje en fergrutsje. Dit omfettet it tafoegjen fan lûd, ynterferinsje en gegevensfergrutting;
- alle metoaden dy't helpe om te soargjen dat de resultaten fan it model net willekeurich binne en net ôfhinklik binne fan lytse net winske ynterferinsje (adversariële oanfallen);
- ynterpretearje it model nei it feit, nei training;
- stúdzje funksje gewichten op ferskate manieren;
- studearje de kânsen fan alle hypotezen, klasse ferdieling.
Adversariële oanfal
Modellearjen fan flaters binne kostber foar elkenien: in prima foarbyld is it wurk fan Reinhart en Rogov."" beynfloede it ekonomysk belied fan in protte Jeropeeske lannen en twong se om besunigingsbelied te folgjen, mar in soarchfâldich opnij kontrolearjen fan 'e gegevens en har ferwurking jierren letter liet it tsjinoerstelde resultaat sjen!
Elke ML-technology hat in eigen libbenssyklus fan ymplemintaasje oant ymplemintaasje. It doel fan 'e nije metodyk is om trije basisprinsipes te kontrolearjen yn elke faze fan it libben fan it model.
Resultaten:
- Ferskate projekten wurde ûntwikkele dy't it ML-model sille helpe betrouberder te wêzen. Dit is bygelyks deeptune (link nei: );
- Foar fierdere ûntwikkeling fan de metodyk is it nedich om de kwaliteit fan publikaasjes op it mêd fan ML signifikant te ferbetterjen;
- Masine learen hat lieders nedich mei multydissiplinêre training en ekspertize yn sawol technyske as humaniora fjilden.
"Human Behavior Modeling mei Machine Learning: Opportunities and Challenges" Nuria M Oliver, Albert Ali Salah
Lêzing wijd oan it modellerjen fan minsklik gedrach, syn technologyske fûneminten en tapassingsperspektiven.
Modeling fan minsklik gedrach kin wurde ferdield yn:
- yndividuele gedrach
- gedrach fan in lytse groep minsken
- massa gedrach
Elk fan dizze soarten kin wurde modeleare mei ML, mar mei folslein oare ynfierynformaasje en funksjes. Elk type hat ek syn eigen etyske problemen dy't elk projekt trochgiet:
- yndividueel gedrach - identiteitsstellerij, deepfake;
- gedrach fan groepen minsken - de-anonymisaasje, it krijen fan ynformaasje oer bewegings, telefoantsjes, ensfh.;
Yndividueel gedrach
Meast relatearre oan it ûnderwerp fan Computer Vision - erkenning fan minsklike emoasjes en reaksjes. Miskien allinnich yn kontekst, yn tiid, of mei de relative skaal fan syn eigen fariabiliteit fan emoasjes. De dia toant erkenning fan Mona Lisa's emoasjes mei help fan kontekst út it emosjonele spektrum fan Middellânske froulju. Resultaat: in glimke fan freugde, mar mei ferachting en wearze. De reden is wierskynlik yn 'e technyske manier om in "neutrale" emoasje te definiearjen.
Gedrach fan in lytse groep minsken
Oant no ta is it slimste model te tankjen oan ûnfoldwaande ynformaasje. As foarbyld waarden wurken fan 2018 – 2019 toand. op tsientallen minsken X tsientallen fideo's (ferl. 100k++ ôfbyldingsgegevenssets). Om dizze taak it bêste model te meitsjen is multimodale ynformaasje nedich, leafst fan sensoren op in lichemshoogtemeter, termometer, mikrofoanopname, ensfh.
Mass gedrach
De meast ûntwikkele gebiet, sûnt de klant is de UN en in protte steaten. Tafersjochkamera's foar bûten, gegevens fan telefoantuorren - fakturearring, SMS, petearen, gegevens oer beweging tusken steatsgrinzen - dit alles jout in heul betrouber byld fan 'e beweging fan minsken en sosjale ynstabiliteiten. Potinsjele applikaasjes fan 'e technology: optimalisearjen fan rêdingsoperaasjes, bystân en tydlike evakuaasje fan' e befolking yn needgefallen. De brûkte modellen binne benammen noch min ynterpretearre - dit binne ferskate LSTM's en konvolúsjonele netwurken. D'r wie in koarte opmerking dat de FN lobbyde foar in nije wet dy't Jeropeeske bedriuwen ferplichtsje soe om anonymisearre gegevens te dielen dy't nedich binne foar elk ûndersyk.
"Fan System 1 to System 2 Deep Learning", Yoshua Bengio
Yn 'e lêzing fan Joshua Bengio moetet djip learen neurowittenskip op it nivo fan doelstelling.
Bengio identifisearret twa haadtypen problemen neffens de metodyk fan Nobelpriiswinner Daniel Kahneman (boek "")
type 1 - Systeem 1, ûnbewuste aksjes dy't wy "automatysk" dogge (âlde harsens): in auto ride op bekende plakken, kuierje, gesichten werkenne.
type 2 - Systeem 2, bewuste aksjes (cerebral cortex), doelstelling, analyze, tinken, gearstalde taken.
AI hat oant no ta genôch hichten berikt allinnich yn taken fan it earste type, wylst ús taak is om it nei de twadde te bringen, it leare om multydissiplinêre operaasjes út te fieren en te operearjen mei logika en kognitive feardigens op hege nivo.
Om dit doel te berikken wurdt foarsteld:
- yn NLP-taken, brûk oandacht as in kaaimeganisme foar modelearjen fan tinken
- brûke meta-learen en represintaasjelearen om funksjes better te modellearjen dy't it bewustwêzen en har lokalisaasje beynfloedzje - en op basis fan har oergean nei operearjen mei konsepten op heger nivo.
Ynstee fan in konklúzje, hjir is in útnoege petear: Bengio is ien fan in protte wittenskippers dy't besykje it fjild fan ML út te wreidzjen bûten optimalisaasjeproblemen, SOTA en nije arsjitektueren.
De fraach bliuwt iepen yn hoefier't de kombinaasje fan problemen fan it bewustwêzen, de ynfloed fan taal op tinken, neurobiology en algoritmen is wat ús yn 'e takomst wachtet en sil tastean om te gean nei masines dy't "tinke" as minsken.
Tankewol!
Boarne: www.habr.com