NeuroIPS () er verdens største konference om maskinlæring og kunstig intelligens og hovedbegivenheden i verden af deep learning.
Vil vi, DS-ingeniører, også mestre biologi, lingvistik og psykologi i det nye årti? Det fortæller vi dig i vores anmeldelse.
I år samlede konferencen mere end 13500 mennesker fra 80 lande i Vancouver, Canada. Det er ikke det første år, Sberbank har repræsenteret Rusland på konferencen - DS-teamet talte om implementeringen af ML i bankprocesser, om ML-konkurrencen og om mulighederne i Sberbank DS-platformen. Hvad var de vigtigste tendenser i 2019 i ML-samfundet? Konferencedeltagere siger: и .
I år accepterede NeurIPS mere end 1400 papirer – algoritmer, nye modeller og nye applikationer til nye data.
Indhold:
- tendenser
-
- Modeltolkbarhed
- Multidisciplinaritet
- Ræsonnement
- RL
- GAN
- Grundlæggende inviterede foredrag
-
- "Social Intelligence", Blaise Aguera y Arcas (Google)
- "Veridical Data Science", Bin Yu (Berkeley)
- "Human Behaviour Modeling with Machine Learning: Opportunities and Challenges", Nuria M Oliver, Albert Ali Salah
- "Fra system 1 til system 2 dyb læring", Yoshua Bengio
Trends 2019 af året
1. Modeltolkbarhed og ny ML-metodologi
Konferencens hovedemne er fortolkning og bevis på, hvorfor vi får bestemte resultater. Man kan tale længe om den filosofiske betydning af "black box"-fortolkningen, men der var mere reelle metoder og tekniske udviklinger på dette område.
Metoden til at replikere modeller og udvinde viden fra dem er et nyt værktøjssæt for videnskaben. Modeller kan tjene som et værktøj til at opnå ny viden og teste den, og hvert trin i forbearbejdning, træning og anvendelse af modellen skal kunne reproduceres.
En betydelig del af publikationerne er ikke afsat til konstruktion af modeller og værktøjer, men til problemerne med at sikre sikkerhed, gennemsigtighed og verificerbarhed af resultater. Der er især dukket en separat strøm op om angreb på modellen (adversarielle angreb), og muligheder for både angreb på træning og angreb på applikation overvejes.
Artikler:
- — en programmatisk artikel om metoden til modelverifikation. Indeholder en oversigt over moderne værktøjer til fortolkning af modeller, især brugen af opmærksomhed og opnåelse af karakteristika ved at "destillere" det neurale netværk med lineære modeller.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Raff
ExBert.net viser modelfortolkning for tekstbehandlingsopgaver
2. Multidisciplinaritet
For at sikre pålidelig verifikation og udvikle mekanismer til at verificere og udvide viden, har vi brug for specialister inden for beslægtede områder, som samtidig har kompetencer inden for ML og inden for fagområdet (medicin, lingvistik, neurobiologi, uddannelse mv.). Det er især værd at bemærke den mere betydelige tilstedeværelse af værker og taler i neurovidenskab og kognitiv videnskab - der er en tilnærmelse af specialister og lån af ideer.
Ud over denne tilnærmelse opstår der multidisciplinaritet i den fælles behandling af information fra forskellige kilder: tekst og fotos, tekst og spil, grafdatabaser + tekst og fotos.
Artikler:
- Neurovidenskab + ML —
- VisualQA -
- RL + NLP -
To modeller - strateg og executive - baseret på RL og NLP spiller online strategi
3. Ræsonnement
Styrkelse af kunstig intelligens er en bevægelse mod selvlærende systemer, "bevidst", ræsonnement og ræsonnement. Især kausal slutning og sund fornuft ræsonnement er under udvikling. Nogle af rapporterne er helliget meta-læring (om hvordan man lærer at lære) og kombinationen af DL-teknologier med 1. og 2. ordens logik – begrebet Artificial General Intelligence (AGI) er ved at blive en almindelig betegnelse i talernes taler.
Artikler:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4.Forstærkningslæring
Det meste af arbejdet fortsætter med at udvikle traditionelle områder af RL - DOTA2, Starcraft, der kombinerer arkitekturer med computervision, NLP, grafdatabaser.
En separat dag på konferencen blev afsat til en RL-workshop, hvor arkitekturen for optimistisk skuespillerkritiker blev præsenteret, overlegen i forhold til alle tidligere, især Soft Actor Critic.
Artikler:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (Foretrukne netværk); Takahiro Ishikawa (Universitetet i Tokyo) [eksternt pdf-link].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Toronto Universitet); Mohammad Norouzi (Google Brain)
StarCraft-spillere kæmper mod Alphastar-modellen (DeepMind)
5.GAN
Generative netværk er stadig i søgelyset: mange værker bruger vanilje GAN'er til matematiske beviser og anvender dem også på nye, usædvanlige måder (grafgenerative modeller, arbejde med serier, anvendelse på årsag-og-virkning-relationer i data osv.).
Artikler:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Siden mere arbejde blev accepteret Nedenfor vil vi tale om de vigtigste taler.
Inviterede foredrag
"Social Intelligence", Blaise Aguera y Arcas (Google)
Foredraget fokuserer på den generelle metodologi for maskinlæring og de udsigter, der ændrer branchen lige nu - hvilket skillevej står vi over for? Hvordan fungerer hjernen og evolutionen, og hvorfor gør vi så lidt brug af det, vi allerede ved om udviklingen af naturlige systemer?
Den industrielle udvikling af ML falder stort set sammen med milepælene i udviklingen af Google, som offentliggør sin forskning om NeurIPS år efter år:
- 1997 – lancering af søgefaciliteter, første servere, lille computerkraft
- 2010 – Jeff Dean lancerer Google Brain-projektet, boomet af neurale netværk i begyndelsen
- 2015 – industriel implementering af neurale netværk, hurtig ansigtsgenkendelse direkte på en lokal enhed, lav-niveau processorer skræddersyet til tensor computing - TPU. Google lancerer Coral ai - en analog af raspberry pi, en minicomputer til at introducere neurale netværk i eksperimentelle installationer
- 2017 – Google begynder at udvikle decentraliseret træning og kombinere resultaterne af neurale netværkstræning fra forskellige enheder til én model – på Android
I dag er en hel industri dedikeret til datasikkerhed, aggregering og replikering af læringsresultater på lokale enheder.
– en retning af ML, hvor individuelle modeller lærer uafhængigt af hinanden og derefter kombineres til en enkelt model (uden at centralisere kildedataene), justeret for sjældne hændelser, anomalier, personalisering osv. Alle Android-enheder er i det væsentlige en enkelt computersupercomputer for Google.
Generative modeller baseret på fødereret læring er en lovende fremtidig retning ifølge Google, som er "i de tidlige stadier af eksponentiel vækst." GAN'er er ifølge foredragsholderen i stand til at lære at reproducere masseadfærden hos populationer af levende organismer og tænkende algoritmer.
Ved at bruge eksemplet med to simple GAN-arkitekturer, er det vist, at i dem vandrer søgen efter en optimeringssti i en cirkel, hvilket betyder, at optimering som sådan ikke forekommer. Samtidig er disse modeller meget vellykkede med at simulere de eksperimenter, som biologer udfører på bakteriepopulationer, hvilket tvinger dem til at lære nye adfærdsstrategier på jagt efter mad. Vi kan konkludere, at livet fungerer anderledes end optimeringsfunktionen.
Walking GAN optimering
Alt, hvad vi gør inden for rammerne af maskinlæring nu, er snævre og ekstremt formaliserede opgaver, mens disse formalismer ikke generaliserer godt og ikke svarer til vores faglige viden inden for områder som neurofysiologi og biologi.
Hvad der virkelig er værd at låne fra neurofysiologiområdet i den nærmeste fremtid, er nye neuronarkitekturer og en lille revision af mekanismerne for tilbageudbredelse af fejl.
Den menneskelige hjerne lærer ikke selv som et neuralt netværk:
- Han har ikke tilfældige primære input, herunder dem, der er fastsat gennem sanserne og i barndommen
- Han har iboende retninger for instinktiv udvikling (ønsket om at lære sprog fra et spædbarn, der går oprejst)
Træning af en individuel hjerne er en opgave på lavt niveau; måske skulle vi overveje "kolonier" af hurtigt skiftende individer, der videregiver viden til hinanden for at reproducere mekanismerne for gruppeevolution.
Hvad vi kan bruge i ML-algoritmer nu:
- Anvend celleafstamningsmodeller, der sikrer befolkningens læring, men individets korte levetid ("individuel hjerne")
- Få-skudt læring ved hjælp af et lille antal eksempler
- Mere komplekse neuronstrukturer, lidt anderledes aktiveringsfunktioner
- Overførsel af "genomet" til næste generationer - backpropagation-algoritme
- Når vi forbinder neurofysiologi og neurale netværk, vil vi lære at bygge en multifunktionel hjerne ud fra mange komponenter.
Ud fra dette synspunkt er praksis med SOTA-løsninger skadelig og bør revideres for at udvikle fælles opgaver (benchmarks).
"Veridical Data Science", Bin Yu (Berkeley)
Rapporten er afsat til problemet med at fortolke maskinlæringsmodeller og metodikken til deres direkte test og verifikation. Enhver trænet ML-model kan opfattes som en kilde til viden, der skal udvindes fra den.
På mange områder, især inden for medicin, er brugen af en model umulig uden at uddrage denne skjulte viden og fortolke modellens resultater - ellers vil vi ikke være sikre på, at resultaterne vil være stabile, ikke-tilfældige, pålidelige og ikke vil dræbe patient. En hel retning af arbejdsmetodologi udvikler sig inden for deep learning-paradigmet og går ud over dets grænser - veridical data science. Hvad er det?
Vi ønsker at opnå en sådan kvalitet af videnskabelige publikationer og reproducerbarhed af modeller, at de er:
- forudsigelig
- beregnelige
- stabil
Disse tre principper danner grundlaget for den nye metode. Hvordan kan ML-modeller kontrolleres i forhold til disse kriterier? Den nemmeste måde er at bygge umiddelbart fortolkbare modeller (regression, beslutningstræer). Men vi ønsker også at få de umiddelbare fordele ved deep learning.
Flere eksisterende måder at arbejde med problemet på:
- fortolke modellen;
- bruge metoder baseret på opmærksomhed;
- bruge ensembler af algoritmer, når du træner, og sikre, at lineære fortolkbare modeller lærer at forudsige de samme svar som det neurale netværk ved at fortolke funktioner fra den lineære model;
- ændre og udvide træningsdata. Dette inkluderer tilføjelse af støj, interferens og dataforøgelse;
- alle metoder, der hjælper med at sikre, at modellens resultater ikke er tilfældige og ikke afhænger af mindre uønsket interferens (modstridende angreb);
- fortolke modellen efter kendsgerning, efter træning;
- studiefunktionsvægte på forskellige måder;
- studere sandsynligheden for alle hypoteser, klassefordeling.
Modstridende angreb
Modelleringsfejl er dyre for alle: Et godt eksempel er Reinhart og Rogovs arbejde."" påvirkede mange europæiske landes økonomiske politikker og tvang dem til at føre nedskæringspolitikker, men en omhyggelig genkontrol af dataene og deres behandling år senere viste det modsatte resultat!
Enhver ML-teknologi har sin egen livscyklus fra implementering til implementering. Målet med den nye metode er at kontrollere tre grundlæggende principper på hver fase af modellens liv.
Resultaterne:
- Der udvikles flere projekter, som vil hjælpe ML-modellen til at blive mere pålidelig. Dette er for eksempel deeptune (link til: );
- For yderligere udvikling af metodikken er det nødvendigt at forbedre kvaliteten af publikationer inden for ML markant;
- Maskinlæring har brug for ledere med tværfaglig uddannelse og ekspertise inden for både tekniske og humanistiske områder.
"Human Behaviour Modeling with Machine Learning: Opportunities and Challenges" Nuria M Oliver, Albert Ali Salah
Foredrag dedikeret til modellering af menneskelig adfærd, dets teknologiske grundlag og anvendelsesmuligheder.
Menneskelig adfærdsmodellering kan opdeles i:
- individuel adfærd
- adfærd hos en lille gruppe mennesker
- masseadfærd
Hver af disse typer kan modelleres ved hjælp af ML, men med helt forskellige inputoplysninger og funktioner. Hver type har også sine egne etiske spørgsmål, som hvert projekt gennemgår:
- individuel adfærd – identitetstyveri, deepfake;
- adfærd hos grupper af mennesker - de-anonymisering, indhentning af information om bevægelser, telefonopkald osv.;
individuel adfærd
Mest relateret til emnet Computer Vision - genkendelse af menneskelige følelser og reaktioner. Måske kun i sammenhæng, i tid eller med den relative skala af hans egen variabilitet af følelser. Diasset viser genkendelse af Mona Lisas følelser ved hjælp af kontekst fra det følelsesmæssige spektrum af middelhavskvinder. Resultat: et smil af glæde, men med foragt og afsky. Årsagen er højst sandsynligt i den tekniske måde at definere en "neutral" følelse på.
En lille gruppe menneskers adfærd
Indtil videre skyldes den værste model utilstrækkelig information. Som eksempel blev der vist værker fra 2018 – 2019. på snesevis af mennesker X snesevis af videoer (jf. 100k++ billeddatasæt). For bedst muligt at modellere denne opgave er der brug for multimodal information, helst fra sensorer på en kropshøjdemåler, termometer, mikrofonoptagelse osv.
Masseadfærd
Det mest udviklede område, da kunden er FN og mange stater. Udendørs overvågningskameraer, data fra telefontårne - fakturering, SMS, opkald, data om bevægelse mellem statsgrænser - alt dette giver et meget pålideligt billede af menneskers bevægelse og sociale ustabilitet. Potentielle anvendelser af teknologien: optimering af redningsoperationer, assistance og rettidig evakuering af befolkningen under nødsituationer. De anvendte modeller er hovedsageligt stadig dårligt fortolket - det er forskellige LSTM'er og foldningsnetværk. Der var en kort bemærkning om, at FN lobbyede for en ny lov, der ville forpligte europæiske virksomheder til at dele anonymiserede data, der er nødvendige for enhver forskning.
"Fra system 1 til system 2 dyb læring", Yoshua Bengio
I Joshua Bengios foredrag møder dyb læring neurovidenskab på niveau med målsætning.
Bengio identificerer to hovedtyper af problemer ifølge nobelpristageren Daniel Kahnemans metodologi (bog "")
type 1 - System 1, ubevidste handlinger, som vi udfører "automatisk" (gammel hjerne): at køre bil på kendte steder, gå, genkende ansigter.
type 2 - System 2, bevidste handlinger (hjernebark), målsætning, analyse, tænkning, sammensatte opgaver.
AI har indtil videre kun nået tilstrækkelige højder i opgaver af den første type, mens vores opgave er at bringe den til den anden, lære den at udføre multidisciplinære operationer og operere med logik og kognitive færdigheder på højt niveau.
For at nå dette mål foreslås:
- i NLP-opgaver, brug opmærksomhed som en nøglemekanisme til modellering af tænkning
- bruge meta-læring og repræsentationslæring til bedre at modellere træk, der påvirker bevidstheden og deres lokalisering - og på grundlag heraf gå videre til at operere med begreber på højere niveau.
I stedet for en konklusion, er her en inviteret snak: Bengio er en af mange videnskabsmænd, der forsøger at udvide ML-feltet ud over optimeringsproblemer, SOTA og nye arkitekturer.
Spørgsmålet er fortsat åbent, i hvilket omfang kombinationen af bevidsthedsproblemer, sprogets indflydelse på tænkning, neurobiologi og algoritmer er det, der venter os i fremtiden og vil give os mulighed for at flytte til maskiner, der "tænker" som mennesker.
Tak!
Kilde: www.habr.com