NeuroIPS () är världens största konferens om maskininlärning och artificiell intelligens och huvudevenemanget i världen av djupinlärning.
Kommer vi, DS-ingenjörer, också att behärska biologi, lingvistik och psykologi under det nya decenniet? Vi berättar i vår recension.
I år samlade konferensen mer än 13500 80 personer från 2019 länder i Vancouver, Kanada. Det här är inte första året som Sberbank representerar Ryssland på konferensen - DS-teamet talade om implementeringen av ML i bankprocesser, om ML-tävlingen och om kapaciteten hos Sberbank DS-plattformen. Vilka var de viktigaste trenderna under XNUMX i ML-gemenskapen? Konferensdeltagare säger: и .
I år accepterade NeurIPS mer än 1400 XNUMX papper – algoritmer, nya modeller och nya applikationer för ny data.
Innehåll:
- trender
-
- Modelltolkbarhet
- Multidisciplinaritet
- Resonemang
- RL
- GAN
- Grundläggande inbjudna samtal
-
- "Social Intelligence", Blaise Aguera y Arcas (Google)
- "Veridical Data Science", Bin Yu (Berkeley)
- "Human Behaviour Modeling with Machine Learning: Opportunities and Challenges", Nuria M Oliver, Albert Ali Salah
- "Från System 1 till System 2 Deep Learning", Yoshua Bengio
Trends 2019 av året
1. Modelltolkbarhet och ny ML-metodik
Huvudämnet för konferensen är tolkning och bevis på varför vi får vissa resultat. Man kan prata länge om den filosofiska betydelsen av tolkningen av den "svarta lådan", men det fanns mer verkliga metoder och teknisk utveckling på detta område.
Metodiken för att replikera modeller och utvinna kunskap från dem är en ny verktygslåda för vetenskapen. Modeller kan fungera som ett verktyg för att skaffa ny kunskap och testa den, och varje steg av förbearbetning, utbildning och tillämpning av modellen måste vara reproducerbar.
En betydande del av publikationerna ägnas inte åt konstruktionen av modeller och verktyg, utan åt problemen med att säkerställa säkerhet, transparens och verifierbarhet av resultat. I synnerhet har en separat ström dykt upp om attacker på modellen (motståndsattacker), och alternativ för både attacker mot träning och attacker mot applikationer övervägs.
Artiklar:
- — En programmatisk artikel om metodiken för modellverifiering. Innehåller en översikt över moderna verktyg för att tolka modeller, i synnerhet användningen av uppmärksamhet och att få kännetecken betydelse genom att "destillera" det neurala nätverket med linjära modeller.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Raff
ExBert.net visar modelltolkning för textbearbetningsuppgifter
2. Multidisciplinaritet
För att säkerställa tillförlitlig verifiering och utveckla mekanismer för att verifiera och utöka kunskapen behöver vi specialister inom närliggande områden som samtidigt har kompetens inom ML och inom ämnesområdet (medicin, lingvistik, neurobiologi, utbildning etc.). Det är särskilt värt att notera den mer betydande närvaron av verk och tal inom neurovetenskap och kognitiv vetenskap - det finns ett närmande av specialister och lån av idéer.
Utöver detta närmande växer multidisciplinaritet fram i den gemensamma bearbetningen av information från olika källor: text och foton, text och spel, grafdatabaser + text och foton.
Artiklar:
- Neurovetenskap + ML —
- VisualQA -
- RL + NLP -
Två modeller – strateg och verkställande – baserade på RL och NLP spelar onlinestrategi
3. Resonemang
Att stärka artificiell intelligens är en rörelse mot självlärande system, ”medvetet”, resonemang och resonemang. Särskilt kausala slutledningar och sunt förnuftsresonemang håller på att utvecklas. En del av rapporterna ägnas åt meta-lärande (om hur man lär sig att lära) och kombinationen av DL-teknologier med 1:a och 2:a ordningens logik – begreppet Artificiell General Intelligence (AGI) håller på att bli en vanlig term i talarnas tal.
Artiklar:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4. Förstärkningsinlärning
Det mesta av arbetet fortsätter att utveckla traditionella områden av RL - DOTA2, Starcraft, kombinera arkitekturer med datorseende, NLP, grafdatabaser.
En separat dag under konferensen ägnades åt en RL-workshop, där arkitekturen för Optimistic Actor Critic Model presenterades, överlägsen alla tidigare, i synnerhet Soft Actor Critic.
Artiklar:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (föredragna nätverk); Takahiro Ishikawa (Universitetet i Tokyo) [extern pdf-länk].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (University of Toronto); Mohammad Norouzi (Google Brain)
StarCraft-spelare kämpar mot Alphastar-modellen (DeepMind)
5.GAN
Generativa nätverk är fortfarande i rampljuset: många verk använder vanilj GAN för matematiska bevis, och tillämpar dem också på nya, ovanliga sätt (grafgenerativa modeller, arbete med serier, tillämpning på orsak-och-verkan-relationer i data, etc.).
Artiklar:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Eftersom mer arbete accepterades Nedan kommer vi att prata om de viktigaste talen.
Inbjudna samtal
"Social Intelligence", Blaise Aguera y Arcas (Google)
Föredraget fokuserar på den allmänna metodiken för maskininlärning och utsikterna som förändrar branschen just nu – vilket vägskäl står vi inför? Hur fungerar hjärnan och evolutionen, och varför använder vi så lite av det vi redan vet om utvecklingen av naturliga system?
Den industriella utvecklingen av ML sammanfaller till stor del med milstolparna i utvecklingen av Google, som publicerar sin forskning om NeurIPS år efter år:
- 1997 – lansering av sökmöjligheter, första servrar, liten datorkraft
- 2010 – Jeff Dean lanserar Google Brain-projektet, boomen av neurala nätverk i början
- 2015 – industriell implementering av neurala nätverk, snabb ansiktsigenkänning direkt på en lokal enhet, lågnivåprocessorer skräddarsydda för tensorberäkning – TPU. Google lanserar Coral ai - en analog till raspberry pi, en minidator för att introducera neurala nätverk i experimentella installationer
- 2017 – Google börjar utveckla decentraliserad träning och kombinerar resultaten av utbildning i neurala nätverk från olika enheter till en modell – på Android
Idag är en hel industri dedikerad till datasäkerhet, aggregering och replikering av läranderesultat på lokala enheter.
– en riktning av ML där enskilda modeller lär sig oberoende av varandra och sedan kombineras till en enda modell (utan att centralisera källdata), justerad för sällsynta händelser, anomalier, personalisering etc. Alla Android-enheter är i princip en enda datorsuperdator för Google.
Generativa modeller baserade på federerat lärande är en lovande framtida riktning enligt Google, som är "i de tidiga stadierna av exponentiell tillväxt." GANs, enligt föreläsaren, är kapabla att lära sig att reproducera massbeteendet hos populationer av levande organismer och tänkande algoritmer.
Med exemplet med två enkla GAN-arkitekturer visas att i dem vandrar sökandet efter en optimeringsväg i en cirkel, vilket gör att optimering som sådan inte sker. Samtidigt är dessa modeller mycket framgångsrika i att simulera de experiment som biologer utför på bakteriepopulationer, vilket tvingar dem att lära sig nya beteendestrategier i jakt på mat. Vi kan dra slutsatsen att livet fungerar annorlunda än optimeringsfunktionen.
Walking GAN-optimering
Allt vi gör inom ramen för maskininlärning nu är snäva och extremt formaliserade uppgifter, samtidigt som dessa formalismer inte generaliserar bra och inte överensstämmer med våra ämneskunskaper inom områden som neurofysiologi och biologi.
Vad som verkligen är värt att låna från området neurofysiologi inom en snar framtid är nya neuronarkitekturer och en liten revidering av mekanismerna för bakåtpropagation av fel.
Den mänskliga hjärnan själv lär sig inte som ett neuralt nätverk:
- Han har inte slumpmässiga primära input, inklusive de som fastställs genom sinnena och i barndomen
- Han har inneboende riktningar för instinktiv utveckling (längtan att lära sig språk av ett spädbarn, gå upprätt)
Att träna en individuell hjärna är en uppgift på låg nivå; vi kanske borde överväga "kolonier" av snabbt föränderliga individer som förmedlar kunskap till varandra för att reproducera mekanismerna för gruppevolution.
Vad vi kan använda i ML-algoritmer nu:
- Tillämpa cellinjemodeller som säkerställer inlärning av befolkningen, men individens korta liv ("individuell hjärna")
- Få-shot-inlärning med ett litet antal exempel
- Mer komplexa neuronstrukturer, något annorlunda aktiveringsfunktioner
- Överföra "genomet" till nästa generationer - backpropagation-algoritm
- När vi kopplar ihop neurofysiologi och neurala nätverk kommer vi att lära oss att bygga en multifunktionell hjärna från många komponenter.
Ur denna synvinkel är tillämpningen av SOTA-lösningar skadlig och bör revideras för att utveckla gemensamma uppgifter (riktmärken).
"Veridical Data Science", Bin Yu (Berkeley)
Rapporten ägnas åt problemet med att tolka maskininlärningsmodeller och metodiken för deras direkta testning och verifiering. Vilken utbildad ML-modell som helst kan uppfattas som en kunskapskälla som behöver utvinnas ur den.
Inom många områden, särskilt inom medicin, är användningen av en modell omöjlig utan att extrahera denna dolda kunskap och tolka modellens resultat - annars kommer vi inte att vara säkra på att resultaten kommer att vara stabila, icke-slumpmässiga, tillförlitliga och inte döda patient. En hel riktning av arbetsmetodik håller på att utvecklas inom djupinlärningsparadigmet och går över dess gränser - veridical data science. Vad det är?
Vi vill uppnå en sådan kvalitet på vetenskapliga publikationer och reproducerbarhet av modeller att de är:
- förutsägbar
- beräkningsbar
- stabil
Dessa tre principer ligger till grund för den nya metoden. Hur kan ML-modeller kontrolleras mot dessa kriterier? Det enklaste sättet är att bygga omedelbart tolkningsbara modeller (regressioner, beslutsträd). Men vi vill också få de omedelbara fördelarna med djupinlärning.
Flera befintliga sätt att arbeta med problemet:
- tolka modellen;
- använda metoder baserade på uppmärksamhet;
- använda ensembler av algoritmer vid träning och se till att linjära tolkningsbara modeller lär sig att förutsäga samma svar som det neurala nätverket, genom att tolka funktioner från den linjära modellen;
- ändra och utöka träningsdata. Detta inkluderar att lägga till brus, störningar och dataförstärkning;
- alla metoder som hjälper till att säkerställa att modellens resultat inte är slumpmässiga och inte beror på mindre oönskade störningar (motstridiga attacker);
- tolka modellen i efterhand, efter träning;
- studera inslagsvikter på olika sätt;
- studera sannolikheterna för alla hypoteser, klassfördelning.
Motsatt attack
Modelleringsfel är kostsamma för alla: ett utmärkt exempel är Reinharts och Rogovs arbete."" påverkade den ekonomiska politiken i många europeiska länder och tvingade dem att föra åtstramningspolitik, men en noggrann omkontroll av uppgifterna och deras bearbetning år senare visade det motsatta resultatet!
Vilken ML-teknik som helst har sin egen livscykel från implementering till implementering. Målet med den nya metoden är att kontrollera tre grundläggande principer i varje skede av modellens liv.
Resultaten:
- Flera projekt utvecklas som ska hjälpa ML-modellen att bli mer tillförlitlig. Detta är till exempel deeptune (länk till: );
- För vidareutveckling av metodiken är det nödvändigt att avsevärt förbättra kvaliteten på publikationer inom ML-området;
- Maskininlärning behöver ledare med tvärvetenskaplig utbildning och expertis inom både tekniska och humanistiska områden.
"Human Behaviour Modeling with Machine Learning: Opportunities and Challenges" Nuria M Oliver, Albert Ali Salah
Föreläsning tillägnad modellering av mänskligt beteende, dess tekniska grunder och tillämpningsmöjligheter.
Mänskligt beteendemodellering kan delas in i:
- individuellt beteende
- beteende hos en liten grupp människor
- massbeteende
Var och en av dessa typer kan modelleras med ML, men med helt olika indata och funktioner. Varje typ har också sina egna etiska frågor som varje projekt går igenom:
- individuellt beteende – identitetsstöld, deepfake;
- beteende hos grupper av människor - avanonymisering, få information om rörelser, telefonsamtal etc.;
individuellt beteende
Mest relaterat till ämnet Computer Vision - erkännande av mänskliga känslor och reaktioner. Kanske bara i sammanhang, i tid, eller med den relativa skalan av hans egen variation av känslor. Bilden visar erkännande av Mona Lisas känslor med hjälp av sammanhang från det känslomässiga spektrumet hos kvinnor i Medelhavet. Resultat: ett leende av glädje, men med förakt och avsky. Anledningen är troligen i det tekniska sättet att definiera en "neutral" känsla.
Beteende hos en liten grupp människor
Hittills beror den sämsta modellen på otillräcklig information. Som exempel visades verk från 2018 – 2019. på dussintals människor X dussintals videor (jfr 100k++ bilddataset). För att på bästa sätt modellera denna uppgift behövs multimodal information, helst från sensorer på en kroppshöjdmätare, termometer, mikrofoninspelning etc.
Massbeteende
Det mest utvecklade området, eftersom kunden är FN och många stater. Utomhusövervakningskameror, data från telefontorn - fakturering, SMS, samtal, data om rörelse mellan statsgränser - allt detta ger en mycket tillförlitlig bild av människors rörelse och sociala instabiliteter. Potentiella tillämpningar av tekniken: optimering av räddningsoperationer, assistans och snabb evakuering av befolkningen under nödsituationer. De modeller som används är huvudsakligen fortfarande dåligt tolkade - det här är olika LSTM:er och faltningsnätverk. Det fanns en kort anmärkning om att FN lobbar för en ny lag som skulle tvinga europeiska företag att dela anonymiserad data som är nödvändig för all forskning.
"Från System 1 till System 2 Deep Learning", Yoshua Bengio
I Joshua Bengios föreläsning möter djupinlärning neurovetenskap på målsättningsnivå.
Bengio identifierar två huvudtyper av problem enligt Nobelpristagaren Daniel Kahnemans metodologi (boken "")
typ 1 - System 1, omedvetna handlingar som vi gör "automatiskt" (urgammal hjärna): köra bil på bekanta platser, gå, känna igen ansikten.
typ 2 - System 2, medvetna handlingar (hjärnbarken), målsättning, analys, tänkande, sammansatta uppgifter.
AI har hittills nått tillräckliga höjder endast i uppgifter av den första typen, medan vår uppgift är att föra den till den andra, lära den att utföra multidisciplinära operationer och arbeta med logik och kognitiva färdigheter på hög nivå.
För att uppnå detta mål föreslås:
- i NLP-uppgifter, använd uppmärksamhet som en nyckelmekanism för att modellera tänkande
- använda meta-inlärning och representationsinlärning för att bättre modellera egenskaper som påverkar medvetandet och deras lokalisering - och på grundval av dem gå vidare till att arbeta med begrepp på högre nivå.
Istället för en slutsats, här är ett inbjudet föredrag: Bengio är en av många forskare som försöker utöka fältet för ML bortom optimeringsproblem, SOTA och nya arkitekturer.
Frågan är fortfarande öppen i vilken utsträckning kombinationen av medvetandeproblem, språkets inverkan på tänkande, neurobiologi och algoritmer är vad som väntar oss i framtiden och kommer att tillåta oss att gå över till maskiner som "tänker" som människor.
Tack!
Källa: will.com