NeuroIPS () er verdens største konferanse om maskinlæring og kunstig intelligens og hovedarrangementet i verden av dyp læring.
Vil vi, DS-ingeniører, også mestre biologi, lingvistikk og psykologi i det nye tiåret? Vi forteller deg det i vår anmeldelse.
I år samlet konferansen mer enn 13500 80 mennesker fra 2019 land i Vancouver, Canada. Dette er ikke det første året Sberbank har representert Russland på konferansen - DS-teamet snakket om implementeringen av ML i bankprosesser, om ML-konkurransen og om mulighetene til Sberbank DS-plattformen. Hva var hovedtrendene i XNUMX i ML-samfunnet? Konferansedeltakerne sier: и .
I år aksepterte NeurIPS mer enn 1400 artikler – algoritmer, nye modeller og nye applikasjoner for nye data.
Innhold:
- trender
-
- Modelltolkbarhet
- Flerfaglighet
- Argumentasjon
- RL
- GAN
- Grunnleggende inviterte samtaler
-
- "Social Intelligence", Blaise Aguera y Arcas (Google)
- "Veridical Data Science", Bin Yu (Berkeley)
- "Menneskelig atferdsmodellering med maskinlæring: muligheter og utfordringer", Nuria M Oliver, Albert Ali Salah
- "Fra system 1 til system 2 dyp læring", Yoshua Bengio
Trender 2019 av året
1. Modelltolkbarhet og ny ML-metodikk
Hovedtemaet for konferansen er tolkning og bevis på hvorfor vi får bestemte resultater. Man kan snakke lenge om den filosofiske betydningen av "black box"-tolkningen, men det var mer reelle metoder og teknisk utvikling på dette området.
Metodikken for å replikere modeller og hente ut kunnskap fra dem er et nytt verktøysett for vitenskapen. Modeller kan tjene som et verktøy for å innhente ny kunnskap og teste den, og hvert trinn i forbehandling, opplæring og anvendelse av modellen må være reproduserbart.
En betydelig andel av publikasjonene er ikke viet konstruksjon av modeller og verktøy, men til problemene med å sikre sikkerhet, åpenhet og etterprøvbarhet av resultater. Spesielt har det dukket opp en egen strøm om angrep på modellen (adversarielle angrep), og alternativer for både angrep på trening og angrep på applikasjon vurderes.
artikler:
- — en programmatisk artikkel om metodikken for modellverifisering. Inkluderer en oversikt over moderne verktøy for å tolke modeller, spesielt bruken av oppmerksomhet og oppnå viktighet ved å "destillere" det nevrale nettverket med lineære modeller.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Raff
ExBert.net viser modelltolkning for tekstbehandlingsoppgaver
2. Flerfaglighet
For å sikre pålitelig verifikasjon og utvikle mekanismer for å verifisere og utvide kunnskap, trenger vi spesialister innen beslektede felt som samtidig har kompetanse innen ML og innen fagområdet (medisin, lingvistikk, nevrobiologi, utdanning, etc.). Det er spesielt verdt å merke seg den mer betydelige tilstedeværelsen av verk og taler i nevrovitenskap og kognitiv vitenskap - det er en tilnærming av spesialister og lån av ideer.
I tillegg til denne tilnærmingen vokser det tverrfaglighet i felles behandling av informasjon fra ulike kilder: tekst og bilder, tekst og spill, grafdatabaser + tekst og bilder.
artikler:
- Nevrovitenskap + ML —
- VisualQA -
- RL + NLP -
To modeller - strateg og executive - basert på RL og NLP spiller online strategi
3. Resonnement
Å styrke kunstig intelligens er en bevegelse mot selvlærende systemer, «bevisst», resonnement og resonnement. Spesielt utvikler årsaksinferens og sunn fornuft resonnement. Noen av rapportene er viet meta-læring (om hvordan man lærer å lære) og kombinasjonen av DL-teknologier med 1. og 2. ordens logikk – begrepet Artificial General Intelligence (AGI) er i ferd med å bli et vanlig begrep i foredragsholdernes taler.
artikler:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4. Forsterkende læring
Mesteparten av arbeidet fortsetter med å utvikle tradisjonelle områder av RL - DOTA2, Starcraft, og kombinerer arkitekturer med datasyn, NLP, grafdatabaser.
En egen dag av konferansen ble viet til en RL-workshop, hvor arkitekturen for optimistisk skuespillerkritikkmodell ble presentert, overlegen alle tidligere, spesielt Soft Actor Critic.
artikler:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (Foretrukne nettverk); Takahiro Ishikawa (Universitetet i Tokyo) [ekstern pdf-lenke].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (University of Toronto); Mohammad Norouzi (Google Brain)
StarCraft-spillere kjemper mot Alphastar-modellen (DeepMind)
5.GAN
Generative nettverk er fortsatt i søkelyset: mange verk bruker vanilje-GAN-er for matematiske bevis, og bruker dem også på nye, uvanlige måter (grafgenerative modeller, arbeid med serier, anvendelse på årsak-og-virkning-forhold i data, etc.).
artikler:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Siden mer arbeid ble akseptert Nedenfor skal vi snakke om de viktigste talene.
Inviterte samtaler
"Social Intelligence", Blaise Aguera y Arcas (Google)
Foredraget fokuserer på den generelle metodikken for maskinlæring og utsiktene som endrer bransjen akkurat nå – hvilket veiskille står vi overfor? Hvordan fungerer hjernen og evolusjonen, og hvorfor bruker vi så lite det vi allerede vet om utviklingen av naturlige systemer?
Den industrielle utviklingen av ML faller i stor grad sammen med milepælene i utviklingen av Google, som publiserer sin forskning på NeurIPS år etter år:
- 1997 – lansering av søkefasiliteter, første servere, liten datakraft
- 2010 – Jeff Dean lanserer Google Brain-prosjektet, boomen av nevrale nettverk helt i begynnelsen
- 2015 – industriell implementering av nevrale nettverk, rask ansiktsgjenkjenning direkte på en lokal enhet, lavnivåprosessorer skreddersydd for tensordatabehandling – TPU. Google lanserer Coral ai - en analog av raspberry pi, en minidatamaskin for å introdusere nevrale nettverk i eksperimentelle installasjoner
- 2017 – Google begynner å utvikle desentralisert opplæring og kombinere resultatene av nevrale nettverkstrening fra forskjellige enheter til én modell – på Android
I dag er en hel industri dedikert til datasikkerhet, aggregering og replikering av læringsresultater på lokale enheter.
– en retning av ML der individuelle modeller lærer uavhengig av hverandre og deretter kombineres til en enkelt modell (uten å sentralisere kildedataene), justert for sjeldne hendelser, anomalier, personalisering, etc. Alle Android-enheter er i hovedsak en enkelt datamaskinsuperdatamaskin for Google.
Generative modeller basert på forent læring er en lovende fremtidig retning ifølge Google, som er «i de tidlige stadiene av eksponentiell vekst». GAN-er, ifølge foreleseren, er i stand til å lære å reprodusere masseadferden til populasjoner av levende organismer og tenkende algoritmer.
Ved å bruke eksemplet med to enkle GAN-arkitekturer, er det vist at i dem vandrer søket etter en optimaliseringsbane i en sirkel, noe som betyr at optimalisering som sådan ikke forekommer. Samtidig er disse modellene svært vellykkede med å simulere eksperimentene som biologer utfører på bakteriepopulasjoner, og tvinger dem til å lære nye atferdsstrategier på jakt etter mat. Vi kan konkludere med at livet fungerer annerledes enn optimaliseringsfunksjonen.
Walking GAN-optimalisering
Alt vi gjør innenfor rammen av maskinlæring nå er snevre og ekstremt formaliserte oppgaver, mens disse formalismene ikke generaliserer godt og ikke samsvarer med vår fagkunnskap innen områder som nevrofysiologi og biologi.
Det som virkelig er verdt å låne fra nevrofysiologifeltet i nær fremtid, er nye nevronarkitekturer og en liten revisjon av mekanismene for tilbakepropagering av feil.
Den menneskelige hjernen selv lærer ikke som et nevralt nettverk:
- Han har ikke tilfeldige primære input, inkludert de som er lagt ned gjennom sansene og i barndommen
- Han har iboende retninger for instinktiv utvikling (ønsket om å lære språk fra et spedbarn, gå oppreist)
Å trene en individuell hjerne er en oppgave på lavt nivå; kanskje bør vi vurdere "kolonier" av raskt skiftende individer som overfører kunnskap til hverandre for å reprodusere mekanismene til gruppeevolusjon.
Hva vi kan ta i bruk i ML-algoritmer nå:
- Bruk cellelinjemodeller som sikrer læring av befolkningen, men individets korte levetid ("individuell hjerne")
- Få-skudd læring ved hjelp av et lite antall eksempler
- Mer komplekse nevronstrukturer, litt forskjellige aktiveringsfunksjoner
- Overføring av "genomet" til neste generasjoner - tilbakepropageringsalgoritme
- Når vi kobler nevrofysiologi og nevrale nettverk, vil vi lære å bygge en multifunksjonell hjerne fra mange komponenter.
Fra dette synspunktet er praktiseringen av SOTA-løsninger skadelig og bør revideres for å utvikle felles oppgaver (benchmarks).
"Veridical Data Science", Bin Yu (Berkeley)
Rapporten er viet problemet med å tolke maskinlæringsmodeller og metodikken for direkte testing og verifisering av dem. Enhver trent ML-modell kan oppfattes som en kilde til kunnskap som må trekkes ut fra den.
På mange områder, spesielt innen medisin, er bruk av en modell umulig uten å trekke ut denne skjulte kunnskapen og tolke modellens resultater – ellers vil vi ikke være sikre på at resultatene vil være stabile, ikke-tilfeldige, pålitelige og ikke drepe pasient. En hel retning av arbeidsmetodikk utvikler seg innenfor dyplæringsparadigmet og går utover dets grenser - veridisk datavitenskap. Hva det er?
Vi ønsker å oppnå en slik kvalitet på vitenskapelige publikasjoner og reproduserbarhet av modeller at de er:
- forutsigbar
- beregnelig
- stabil
Disse tre prinsippene danner grunnlaget for den nye metodikken. Hvordan kan ML-modeller kontrolleres mot disse kriteriene? Den enkleste måten er å bygge umiddelbart tolkbare modeller (regresjoner, beslutningstrær). Men vi ønsker også å få de umiddelbare fordelene ved dyp læring.
Flere eksisterende måter å jobbe med problemet på:
- tolke modellen;
- bruke metoder basert på oppmerksomhet;
- bruke ensembler av algoritmer når du trener, og sikre at lineære tolkbare modeller lærer å forutsi de samme svarene som det nevrale nettverket, og tolker funksjoner fra den lineære modellen;
- endre og utvide treningsdata. Dette inkluderer å legge til støy, interferens og dataforsterkning;
- alle metoder som bidrar til å sikre at modellens resultater ikke er tilfeldige og ikke er avhengige av mindre uønsket interferens (motstridende angrep);
- tolke modellen etter faktum, etter trening;
- studere funksjonsvekter på ulike måter;
- studere sannsynlighetene for alle hypoteser, klassefordeling.
Motstridende angrep
Modelleringsfeil er kostbare for alle: Et godt eksempel er arbeidet til Reinhart og Rogov."" påvirket den økonomiske politikken til mange europeiske land og tvang dem til å følge innstramningspolitikk, men en nøye re-sjekk av dataene og behandlingen av dem år senere viste det motsatte resultatet!
Enhver ML-teknologi har sin egen livssyklus fra implementering til implementering. Målet med den nye metodikken er å kontrollere tre grunnleggende prinsipper på hvert stadium av modellens liv.
Resultater:
- Det utvikles flere prosjekter som skal bidra til at ML-modellen blir mer pålitelig. Dette er for eksempel deeptune (lenke til: );
- For videreutvikling av metodikken er det nødvendig å forbedre kvaliteten på publikasjoner innen ML betydelig;
- Maskinlæring trenger ledere med tverrfaglig opplæring og ekspertise innen både tekniske og humanistiske felt.
"Menneskelig atferdsmodellering med maskinlæring: muligheter og utfordringer" Nuria M Oliver, Albert Ali Salah
Foredrag dedikert til å modellere menneskelig atferd, dets teknologiske grunnlag og applikasjonsmuligheter.
Menneskelig atferdsmodellering kan deles inn i:
- individuell oppførsel
- oppførsel til en liten gruppe mennesker
- masseadferd
Hver av disse typene kan modelleres ved hjelp av ML, men med helt annen inputinformasjon og funksjoner. Hver type har også sine egne etiske problemstillinger som hvert prosjekt går gjennom:
- individuell oppførsel – identitetstyveri, dypfalske;
- oppførsel til grupper av mennesker - de-anonymisering, innhenting av informasjon om bevegelser, telefonsamtaler, etc.;
individuell oppførsel
For det meste relatert til emnet Computer Vision - gjenkjennelse av menneskelige følelser og reaksjoner. Kanskje bare i kontekst, i tid eller med den relative skalaen til hans egen variasjon av følelser. Lysbildet viser gjenkjennelse av Mona Lisas følelser ved å bruke kontekst fra det emosjonelle spekteret til kvinner i Middelhavet. Resultat: et smil av glede, men med forakt og avsky. Årsaken er mest sannsynlig i den tekniske måten å definere en "nøytral" følelse på.
Oppførselen til en liten gruppe mennesker
Så langt skyldes den dårligste modellen utilstrekkelig informasjon. Som et eksempel ble det vist verk fra 2018 – 2019. på dusinvis av mennesker X dusinvis av videoer (jf. 100k++ bildedatasett). For best mulig modellering av denne oppgaven trengs multimodal informasjon, fortrinnsvis fra sensorer på en kroppshøydemåler, termometer, mikrofonopptak, etc.
Masseadferd
Det mest utviklede området, siden kunden er FN og mange stater. Utendørs overvåkingskameraer, data fra telefontårn - fakturering, SMS, samtaler, data om bevegelse mellom statsgrenser - alt dette gir et veldig pålitelig bilde av bevegelsen til mennesker og sosial ustabilitet. Potensielle anvendelser av teknologien: optimalisering av redningsoperasjoner, assistanse og rettidig evakuering av befolkningen under nødssituasjoner. Modellene som brukes er i hovedsak fortsatt dårlig tolket - dette er ulike LSTM-er og konvolusjonelle nettverk. Det var en kort bemerkning om at FN driver lobbyvirksomhet for en ny lov som vil forplikte europeiske virksomheter til å dele anonymiserte data som er nødvendige for enhver forskning.
"Fra system 1 til system 2 dyp læring", Yoshua Bengio
I Joshua Bengios foredrag møter dyp læring nevrovitenskap på nivå med målsetting.
Bengio identifiserer to hovedtyper problemer i henhold til metodikken til nobelprisvinneren Daniel Kahneman (bok "")
type 1 - System 1, ubevisste handlinger som vi gjør "automatisk" (gammel hjerne): kjøre bil på kjente steder, gå, gjenkjenne ansikter.
type 2 - System 2, bevisste handlinger (hjernebark), målsetting, analyse, tenkning, sammensatte oppgaver.
AI har så langt nådd tilstrekkelige høyder kun i oppgaver av den første typen, mens vår oppgave er å bringe den til den andre, lære den å utføre tverrfaglige operasjoner og operere med logikk og kognitive ferdigheter på høyt nivå.
For å nå dette målet foreslås det:
- i NLP-oppgaver, bruk oppmerksomhet som en nøkkelmekanisme for å modellere tenkning
- bruke meta-læring og representasjonslæring for å bedre modellere funksjoner som påvirker bevisstheten og deres lokalisering - og på grunnlag av dem gå videre til å operere med konsepter på høyere nivå.
I stedet for en konklusjon, her er en invitert tale: Bengio er en av mange forskere som prøver å utvide feltet av ML utover optimaliseringsproblemer, SOTA og nye arkitekturer.
Spørsmålet er fortsatt åpent i hvilken grad kombinasjonen av bevissthetsproblemer, språkets innflytelse på tenkning, nevrobiologi og algoritmer er det som venter oss i fremtiden og vil tillate oss å flytte til maskiner som "tenker" som mennesker.
Takk!
Kilde: www.habr.com