NeuroIPS () is die wêreld se grootste konferensie oor masjienleer en kunsmatige intelligensie en die hoofgeleentheid in die wêreld van diep leer.
Sal ons, DS-ingenieurs, in die nuwe dekade ook biologie, linguistiek en sielkunde bemeester? Ons sal jou vertel in ons resensie.
Vanjaar het die konferensie meer as 13500 80 mense uit 2019 lande in Vancouver, Kanada, byeengebring. Dit is nie die eerste jaar dat Sberbank Rusland by die konferensie verteenwoordig het nie – die DS-span het gepraat oor die implementering van ML in bankprosesse, oor die ML-kompetisie en oor die vermoëns van die Sberbank DS-platform. Wat was die hoofneigings van XNUMX in die ML-gemeenskap? Konferensie deelnemers sê: и .
Vanjaar het NeurIPS meer as 1400 XNUMX vraestelle aanvaar—algoritmes, nuwe modelle en nuwe toepassings op nuwe data.
Inhoud:
- tendense
-
- Model interpreteerbaarheid
- Multidissiplinariteit
- redenasie
- RL
- GAN
- Basiese Genooide Praatjies
-
- "Sosiale Intelligensie", Blaise Aguera y Arcas (Google)
- "Veridical Data Science", Bin Yu (Berkeley)
- "Menslike gedragsmodellering met masjienleer: geleenthede en uitdagings", Nuria M Oliver, Albert Ali Salah
- "Van Stelsel 1 tot Stelsel 2 Diep Leer", Yoshua Bengio
Tendense 2019
1. Model interpreteerbaarheid en nuwe ML metodologie
Die hoofonderwerp van die konferensie is interpretasie en bewyse van hoekom ons sekere resultate kry. ’n Mens kan lank praat oor die filosofiese belangrikheid van die “black box”-interpretasie, maar daar was meer werklike metodes en tegniese ontwikkelings op hierdie gebied.
Die metodologie om modelle te repliseer en kennis daaruit te onttrek is 'n nuwe gereedskapstel vir die wetenskap. Modelle kan as 'n hulpmiddel dien om nuwe kennis te bekom en dit te toets, en elke stadium van voorafverwerking, opleiding en toepassing van die model moet reproduceerbaar wees.
'n Beduidende deel van publikasies word nie gewy aan die konstruksie van modelle en gereedskap nie, maar aan die probleme om sekuriteit, deursigtigheid en verifieerbaarheid van resultate te verseker. In die besonder het 'n aparte stroom verskyn oor aanvalle op die model (teenstandige aanvalle), en opsies vir beide aanvalle op opleiding en aanvalle op toepassing word oorweeg.
Artikels:
- — 'n programmatiese artikel oor die metodologie van modelverifikasie. Sluit 'n oorsig van moderne gereedskap vir die interpretasie van modelle in, veral die gebruik van aandag en die verkryging van kenmerkbelang deur die neurale netwerk met lineêre modelle te "distilleer".
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Raff
ExBert.net wys modelinterpretasie vir teksverwerkingstake
2. Multidissiplinariteit
Om betroubare verifikasie te verseker en meganismes te ontwikkel om kennis te verifieer en uit te brei, benodig ons spesialiste in verwante velde wat terselfdertyd bevoegdhede in ML en in die vakgebied (geneeskunde, linguistiek, neurobiologie, onderwys, ens.) het. Dit is veral die moeite werd om te let op die meer betekenisvolle teenwoordigheid van werke en toesprake in neurowetenskappe en kognitiewe wetenskappe - daar is 'n toenadering van spesialiste en die ontlening van idees.
Benewens hierdie toenadering kom multidissiplinariteit na vore in die gesamentlike verwerking van inligting uit verskeie bronne: teks en foto's, teks en speletjies, grafiekdatabasisse + teks en foto's.
Artikels:
- Neurowetenskap + ML —
- VisualQA -
- RL + NLP -
Twee modelle - strateeg en uitvoerende - gebaseer op RL en NLP speel aanlyn strategie
3. Redenering
Die versterking van kunsmatige intelligensie is 'n beweging na selflerende sisteme, "bewustelike", redenering en redenering. Veral oorsaaklike afleiding en gesonde verstand redenering ontwikkel. Sommige van die verslae word gewy aan metaleer (oor hoe om te leer om te leer) en die kombinasie van DL-tegnologieë met 1ste en 2de orde logika – die term Kunsmatige Algemene Intelligensie (AGI) word 'n algemene term in sprekers se toesprake.
Artikels:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4.Versterkingsleer
Die meeste van die werk gaan voort om tradisionele areas van RL - DOTA2, Starcraft te ontwikkel, wat argitekture kombineer met rekenaarvisie, NLP, grafiekdatabasisse.
'n Afsonderlike dag van die konferensie is gewy aan 'n RL-werkswinkel, waartydens die argitektuur van die optimistiese akteur-kritiekmodel aangebied is, beter as al die voriges, in die besonder Sagte akteur-kritikus.
Artikels:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (Voorkeurnetwerke); Takahiro Ishikawa (Die Universiteit van Tokio) [eksterne pdf-skakel].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Universiteit van Toronto); Mohammad Norouzi (Google Brain)
StarCraft-spelers veg teen die Alphastar-model (DeepMind)
5.GAN
Generatiewe netwerke is steeds in die kollig: baie werke gebruik vanielje-GAN's vir wiskundige bewyse, en pas dit ook op nuwe, ongewone maniere toe (grafiekgeneratiewe modelle, werk met reekse, toepassing op oorsaak-en-gevolg-verwantskappe in data, ens.).
Artikels:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Aangesien meer werk aanvaar is Hieronder sal ons oor die belangrikste toesprake praat.
Uitgenooide praatjies
"Sosiale Intelligensie", Blaise Aguera y Arcas (Google)
Die praatjie fokus op die algemene metodologie van masjienleer en die vooruitsigte wat die bedryf tans verander - watter kruispad staan ons in die gesig? Hoe werk die brein en evolusie, en hoekom maak ons so min gebruik van wat ons reeds weet oor die ontwikkeling van natuurlike stelsels?
Die industriële ontwikkeling van ML val grootliks saam met die mylpale van die ontwikkeling van Google, wat jaar na jaar sy navorsing oor NeurIPS publiseer:
- 1997 – bekendstelling van soekfasiliteite, eerste bedieners, klein rekenaarkrag
- 2010 – Jeff Dean loods die Google Brain-projek, die oplewing van neurale netwerke heel aan die begin
- 2015 – industriële implementering van neurale netwerke, vinnige gesigherkenning direk op 'n plaaslike toestel, laevlak verwerkers wat aangepas is vir tensor-rekenaars - TPU. Google stel Coral ai bekend - 'n analoog van raspberry pi, 'n mini-rekenaar vir die bekendstelling van neurale netwerke in eksperimentele installasies
- 2017 – Google begin gedesentraliseerde opleiding ontwikkel en die resultate van neurale netwerkopleiding vanaf verskillende toestelle in een model kombineer – op Android
Vandag is 'n hele bedryf toegewy aan datasekuriteit, samevoeging en replikasie van leeruitkomste op plaaslike toestelle.
– 'n rigting van ML waarin individuele modelle onafhanklik van mekaar leer en dan in 'n enkele model gekombineer word (sonder om die brondata te sentraliseer), aangepas vir seldsame gebeurtenisse, afwykings, verpersoonliking, ens. Alle Android-toestelle is in wese 'n enkele rekenaar superrekenaar vir Google.
Generatiewe modelle gebaseer op gefedereerde leer is 'n belowende toekomstige rigting volgens Google, wat "in die vroeë stadiums van eksponensiële groei is." GAN's is volgens die dosent in staat om te leer om die massagedrag van populasies van lewende organismes en denkalgoritmes weer te gee.
Deur die voorbeeld van twee eenvoudige GAN-argitekture te gebruik, word aangetoon dat daarin die soektog na 'n optimeringspad in 'n sirkel dwaal, wat beteken dat optimering as sodanig nie plaasvind nie. Terselfdertyd is hierdie modelle baie suksesvol in die simulasie van die eksperimente wat bioloë op bakteriese populasies uitvoer, wat hulle dwing om nuwe gedragstrategieë aan te leer op soek na voedsel. Ons kan tot die gevolgtrekking kom dat die lewe anders werk as die optimaliseringsfunksie.
Stap GAN-optimering
Al wat ons nou in die raamwerk van masjienleer doen, is eng en uiters geformaliseerde take, terwyl hierdie formalismes nie goed veralgemeen nie en nie ooreenstem met ons vakkennis op gebiede soos neurofisiologie en biologie nie.
Wat regtig die moeite werd is om in die nabye toekoms uit die veld van neurofisiologie te leen, is nuwe neuron-argitekture en 'n effense hersiening van die meganismes van terugpropagasie van foute.
Die menslike brein self leer nie soos 'n neurale netwerk nie:
- Hy het nie lukrake primêre insette nie, insluitend dié wat deur die sintuie en in die kinderjare neergelê is
- Hy het inherente rigtings van instinktiewe ontwikkeling (die begeerte om taal by 'n baba te leer, regop loop)
Opleiding van 'n individuele brein is 'n lae-vlak taak; miskien moet ons "kolonies" van vinnig veranderende individue oorweeg wat kennis aan mekaar oordra om die meganismes van groepevolusie weer te gee.
Wat ons nou in ML-algoritmes kan aanneem:
- Pas sellynmodelle toe wat die leer van die bevolking verseker, maar die kort lewe van die individu (“individuele brein”)
- Min-skoot leer deur 'n klein aantal voorbeelde te gebruik
- Meer komplekse neuronstrukture, effens verskillende aktiveringsfunksies
- Oordrag van die "genoom" na volgende generasies - terugpropagasie-algoritme
- Sodra ons neurofisiologie en neurale netwerke verbind, sal ons leer om 'n multifunksionele brein uit baie komponente te bou.
Vanuit hierdie oogpunt is die praktyk van SOTA-oplossings nadelig en moet dit hersien word ter wille van die ontwikkeling van algemene take (benchmarks).
"Veridical Data Science", Bin Yu (Berkeley)
Die verslag word gewy aan die probleem van die interpretasie van masjienleermodelle en die metodologie vir die direkte toetsing en verifikasie daarvan. Enige opgeleide ML-model kan beskou word as 'n bron van kennis wat daaruit onttrek moet word.
Op baie gebiede, veral in medisyne, is die gebruik van 'n model onmoontlik sonder om hierdie verborge kennis te onttrek en die model se resultate te interpreteer - anders sal ons nie seker wees dat die resultate stabiel, nie-willekeurig, betroubaar sal wees en nie die pasiënt. ’n Hele rigting van werkmetodologie ontwikkel binne die diepleer-paradigma en gaan oor sy grense – ware datawetenskap. Wat dit is?
Ons wil sulke kwaliteit van wetenskaplike publikasies en reproduceerbaarheid van modelle bereik dat hulle:
- voorspelbaar
- berekenbaar
- stabiel
Hierdie drie beginsels vorm die basis van die nuwe metodologie. Hoe kan ML-modelle teen hierdie kriteria gekontroleer word? Die maklikste manier is om onmiddellik interpreteerbare modelle (regressies, besluitbome) te bou. Ons wil egter ook die onmiddellike voordele van diep leer kry.
Verskeie bestaande maniere om met die probleem te werk:
- die model te interpreteer;
- gebruik metodes gebaseer op aandag;
- gebruik ensembles van algoritmes tydens opleiding, en verseker dat lineêre interpreteerbare modelle leer om dieselfde antwoorde as die neurale netwerk te voorspel, deur kenmerke van die lineêre model te interpreteer;
- opleidingsdata te verander en aan te vul. Dit sluit die byvoeging van geraas, interferensie en datavergroting in;
- enige metodes wat help verseker dat die model se resultate nie lukraak is nie en nie afhanklik is van geringe ongewenste inmenging (teenstandige aanvalle);
- interpreteer die model na die feit, na opleiding;
- studie kenmerk gewigte op verskeie maniere;
- bestudeer die waarskynlikhede van alle hipoteses, klasverspreiding.
Teenstandige aanval
Modelleringsfoute is duur vir almal: 'n uitstekende voorbeeld is die werk van Reinhart en Rogov."" het die ekonomiese beleid van baie Europese lande beïnvloed en hulle gedwing om besuinigingsbeleide te volg, maar 'n noukeurige herkontrolering van die data en hul verwerking jare later het die teenoorgestelde resultaat getoon!
Enige ML-tegnologie het sy eie lewensiklus van implementering tot implementering. Die doel van die nuwe metodologie is om drie basiese beginsels in elke stadium van die model se lewe na te gaan.
resultate:
- Verskeie projekte word ontwikkel wat sal help om die ML-model meer betroubaar te wees. Dit is byvoorbeeld deeptune (skakel na: );
- Vir verdere ontwikkeling van die metodologie is dit nodig om die kwaliteit van publikasies op die gebied van ML aansienlik te verbeter;
- Masjienleer benodig leiers met multidissiplinêre opleiding en kundigheid in beide tegniese en geesteswetenskaplike velde.
"Menslike gedragsmodellering met masjienleer: geleenthede en uitdagings" Nuria M Oliver, Albert Ali Salah
Lesing gewy aan die modellering van menslike gedrag, sy tegnologiese grondslae en toepassingsvooruitsigte.
Menslike gedragsmodellering kan verdeel word in:
- individuele gedrag
- gedrag van 'n klein groepie mense
- massa gedrag
Elkeen van hierdie tipes kan met behulp van ML gemodelleer word, maar met heeltemal verskillende insetinligting en kenmerke. Elke tipe het ook sy eie etiese kwessies waardeur elke projek gaan:
- individuele gedrag – identiteitsdiefstal, deepfake;
- gedrag van groepe mense - de-anonimisering, verkryging van inligting oor bewegings, telefoonoproepe, ens.;
individuele gedrag
Meestal verwant aan die onderwerp van Rekenaarvisie - herkenning van menslike emosies en reaksies. Miskien net in konteks, in tyd, of met die relatiewe skaal van sy eie veranderlikheid van emosies. Die skyfie toon herkenning van Mona Lisa se emosies deur konteks uit die emosionele spektrum van Mediterreense vroue te gebruik. Gevolg: 'n glimlag van vreugde, maar met minagting en afsku. Die rede is heel waarskynlik in die tegniese manier om 'n "neutrale" emosie te definieer.
Gedrag van 'n klein groepie mense
Tot dusver is die ergste model te wyte aan onvoldoende inligting. As voorbeeld is werke van 2018 – 2019 gewys. op dosyne mense X dosyne video's (vgl. 100k++ beelddatastelle). Om hierdie taak die beste te modelleer, is multimodale inligting nodig, verkieslik van sensors op 'n liggaamshoogtemeter, termometer, mikrofoonopname, ens.
Massa gedrag
Die mees ontwikkelde gebied, aangesien die kliënt die VN en baie state is. Buitelug-toesigkameras, data van telefoontorings - faktuur, SMS, oproepe, data oor beweging tussen staatsgrense - dit alles gee 'n baie betroubare beeld van die beweging van mense en sosiale onstabiliteite. Potensiële toepassings van die tegnologie: optimalisering van reddingsoperasies, bystand en tydige ontruiming van die bevolking tydens noodgevalle. Die modelle wat gebruik word, word hoofsaaklik steeds swak geïnterpreteer - dit is verskeie LSTM'e en konvolusienetwerke. Daar was 'n kort opmerking dat die VN hom beywer vir 'n nuwe wet wat Europese ondernemings sal verplig om anonieme data te deel wat nodig is vir enige navorsing.
"Van Stelsel 1 tot Stelsel 2 Diep Leer", Yoshua Bengio
In Joshua Bengio se lesing ontmoet diep leer neurowetenskap op die vlak van doelwitstelling.
Bengio identifiseer twee hooftipes probleme volgens die metodologie van Nobelpryswenner Daniel Kahneman (boek "")
tipe 1 - Stelsel 1, onbewuste aksies wat ons “outomaties” doen (antieke brein): motor bestuur op bekende plekke, loop, gesigte herken.
tipe 2 - Stelsel 2, bewuste aksies (serebrale korteks), doelwitstelling, analise, denke, saamgestelde take.
KI het tot dusver voldoende hoogtes bereik net in take van die eerste tipe, terwyl ons taak is om dit na die tweede te bring, dit te leer om multidissiplinêre operasies uit te voer en met logika en hoëvlak kognitiewe vaardighede te funksioneer.
Om hierdie doel te bereik word voorgestel:
- in NLP-take, gebruik aandag as 'n sleutelmeganisme vir modellering van denke
- metaleer en voorstellingsleer te gebruik om kenmerke wat bewussyn en hul lokalisering beïnvloed beter te modelleer - en op grond daarvan voort te gaan om met hoërvlakkonsepte te werk.
In plaas van 'n gevolgtrekking, hier is 'n genooide praatjie: Bengio is een van baie wetenskaplikes wat probeer om die veld van ML uit te brei na optimeringsprobleme, SOTA en nuwe argitekture.
Die vraag bly oop tot watter mate die kombinasie van probleme van bewussyn, die invloed van taal op denke, neurobiologie en algoritmes is wat in die toekoms op ons wag en ons sal toelaat om na masjiene te beweeg wat soos mense “dink”.
Dankie!
Bron: will.com