NeuroIPS () ass déi weltgréisste Konferenz iwwer Maschinnléieren a kënschtlech Intelligenz an den Haaptevenement an der Welt vum Deep Learning.
Wäerte mir, DS Ingenieuren, och Biologie, Linguistik a Psychologie an dat neit Joerzéngt beherrschen? Mir soen Iech an eiser Iwwerpréiwung.
Dëst Joer huet d'Konferenz méi wéi 13500 Leit aus 80 Länner zu Vancouver, Kanada zesummebruecht. Dëst ass net dat éischt Joer datt d'Sberbank Russland op der Konferenz representéiert huet - d'DS Team huet iwwer d'Ëmsetzung vu ML an de Bankeprozesser geschwat, iwwer d'ML Konkurrenz an iwwer d'Fäegkeeten vun der Sberbank DS Plattform. Wat waren d'Haapttrends vun 2019 an der ML Gemeinschaft? Konferenz Participanten soen: и .
Dëst Joer huet NeurIPS méi wéi 1400 Pabeieren akzeptéiert - Algorithmen, nei Modeller an nei Uwendungen fir nei Daten.
Inhalt:
- Trends
-
- Modell Interpretabilitéit
- Multidisziplinaritéit
- Begrënnung
- RL
- GAN
- Basis Invitéiert Gespréicher
-
- "Sozial Intelligenz", Blaise Aguera y Arcas (Google)
- "Veridical Data Science", Bin Yu (Berkeley)
- "Mënschlech Verhalensmodelléierung mat Maschinnléieren: Opportunitéiten an Erausfuerderungen", Nuria M Oliver, Albert Ali Salah
- "Vum System 1 bis System 2 Deep Learning", Yoshua Bengio
Trends 2019
1. Modell interpretability an nei ML Methodik
D'Haaptthema vun der Konferenz ass Interpretatioun a Beweis firwat mir bestëmmte Resultater kréien. Iwwer d'philosophesch Wichtegkeet vun der "Black Box" Interpretatioun kann ee laang schwätzen, awer et goufe méi reell Methoden an technesch Entwécklungen an dësem Beräich.
D'Methodologie fir Modeller ze replizéieren an d'Wëssen aus hinnen ze extrahieren ass en neit Toolkit fir d'Wëssenschaft. Modeller kënnen als Instrument déngen fir neit Wëssen ze kréien an ze testen, an all Etapp vun der Virveraarbechtung, Training an Uwendung vum Modell muss reproduzéierbar sinn.
E groussen Undeel vun de Publikatiounen ass net un de Bau vu Modeller an Tools gewidmet, mee fir d'Problemer fir d'Sécherheet, d'Transparenz an d'Verifizéierbarkeet vun de Resultater ze garantéieren. Besonnesch eng separat Baach iwwer Attacken op de Modell erschéngt (adversarial Attacken), an Optiounen fir béid Attacken op Training an Attacken op Applikatioun ginn berücksichtegt.
Artikelen:
- - e programmateschen Artikel iwwer d'Methodologie vun der Modellverifikatioun. Ëmfaasst en Iwwerbléck iwwer modern Tools fir d'Interpretatioun vun Modeller, besonnesch d'Benotzung vun der Opmierksamkeet an d'Erhalen vun Feature Wichtegkeet andeems d'neural Netzwierk mat linear Modeller "destilléieren".
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Raff
ExBert.net weist Modellinterpretatioun fir Textveraarbechtungsaufgaben
2. Multidisziplinaritéit
Fir zouverlässeg Verifizéierung ze garantéieren an Mechanismen z'entwéckelen fir d'Wëssen z'iwwerpréiwen an auszebauen, brauche mir Spezialisten a verwandte Beräicher, déi gläichzäiteg Kompetenzen am ML hunn an am Fachberäich (Medezin, Linguistik, Neurobiologie, Educatioun, etc.). Besonnesch derwäert ass déi méi bedeitend Präsenz vu Wierker a Rieden an Neurowëssenschaften a Kognitivwëssenschaften ze notéieren - et gëtt eng Approche vu Spezialisten an d'Iddien ausléinen.
Nieft dëser Rapprochement entsteet och Multidisziplinaritéit an der gemeinsamer Veraarbechtung vun Informatioun aus verschiddene Quellen: Text a Fotoen, Text a Spiller, Grafikdatenbanken + Text a Fotoen.
Artikelen:
- Neurowëssenschaften + ML -
- VisualQA -
- RL + NLP -
Zwee Modeller - Strategist an Exekutiv - baséiert op RL an NLP spillen online Strategie
3. Begrënnung
Stäerkung vun der kënschtlecher Intelligenz ass eng Bewegung Richtung Selbstléiersystemer, "bewosst", Begrënnung a Begrënnung. Besonnesch kausal Inferenz a Commonsense Begrënnung entwéckelen. E puer vun de Berichter si fir Meta-Learning gewidmet (iwwer wéi ee léiert ze léieren) an d'Kombinatioun vun DL Technologien mat 1. an 2. Uerdnung Logik - de Begrëff Artificial General Intelligence (AGI) gëtt e gemeinsame Begrëff an de Rieden vun de Spriecher.
Artikelen:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4.Verstäerkung Léieren
Déi meescht vun der Aarbecht entwéckelen weider traditionell Beräicher vun RL - DOTA2, Starcraft, kombinéiert Architekturen mat Computer Visioun, NLP, Grafik Datenbanken.
E getrennten Dag vun der Konferenz war e RL Workshop gewidmet, op deem d'Optimistesch Schauspiller Critic Model Architektur presentéiert gouf, superieur wéi all virdrun, besonnesch Soft Actor Critic.
Artikelen:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (Preferred Networks); Takahiro Ishikawa (D'Universitéit vu Tokyo) [extern PDF Link].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Universitéit vun Toronto); Mohammad Norouzi (Google Brain)
StarCraft Spiller kämpfen den Alphastar Modell (DeepMind)
5.GAN
Generativ Netzwierker sinn nach ëmmer am Spotlight: Vill Wierker benotzen Vanille GANs fir mathematesch Beweiser, an och op nei, ongewéinlech Manéier applizéieren (Grafikgenerativ Modeller, Aarbecht mat Serien, Uwendung fir Ursaach-an-Effekt Bezéiungen an Daten, etc.).
Artikelen:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Zënter méi Aarbecht gouf ugeholl Drënner wäerte mir iwwer déi wichtegst Rieden schwätzen.
Invitéiert Gespréicher
"Sozial Intelligenz", Blaise Aguera y Arcas (Google)
D'Diskussioun konzentréiert sech op déi allgemeng Methodik vum Maschinnléieren an d'Perspektiven déi d'Industrie elo änneren - wat fir eng Kräizung sti mir? Wéi funktionnéieren d'Gehir an d'Evolutioun, a firwat maache mir sou wéineg Notzung vun deem wat mir schonn iwwer d'Entwécklung vun natierleche Systemer wëssen?
Déi industriell Entwécklung vu ML fällt gréisstendeels mat de Meilesteen vun der Entwécklung vu Google, déi seng Fuerschung iwwer NeurIPS Joer fir Joer publizéiert:
- 1997 - Start vun Sich Ariichtungen, éischt Serveren, kleng Rechenkraft
- 2010 - De Jeff Dean lancéiert de Google Brain Projet, de Boom vun neuralen Netzwierker am Ufank
- 2015 - industriell Ëmsetzung vun neurale Netzwierker, séier Gesiichtserkennung direkt op engem lokalen Apparat, Low-Level Prozessoren ugepasst fir Tensor Computing - TPU. Google lancéiert Coral ai - en Analog vum Raspberry Pi, e Mini-Computer fir neural Netzwierker an experimentell Installatiounen anzeféieren
- 2017 - Google fänkt un dezentraliséierter Ausbildung z'entwéckelen an d'Resultater vum neuralen Netzwierk Training vu verschiddenen Apparater an engem Modell ze kombinéieren - op Android
Haut ass eng ganz Industrie fir Datesécherheet, Aggregatioun a Replikatioun vu Léierresultater op lokalen Apparater gewidmet.
- eng Richtung vu ML an där eenzel Modeller onofhängeg vuneneen léieren an dann an engem eenzege Modell kombinéiert ginn (ouni d'Quelldaten ze zentraliséieren), ugepasst fir selten Eventer, Anomalien, Personaliséierung, asw. All Android Apparater sinn am Fong en eenzegen Informatik Supercomputer fir Google.
Generativ Modeller baséiert op federéierte Léieren sinn eng villverspriechend zukünfteg Richtung laut Google, déi "an de fréie Stadien vum exponentielle Wuesstum ass." GANs, laut dem Dozent, si fäeg ze léieren d'Massverhalen vu Populatiounen vu liewegen Organismen an Denken Algorithmen ze reproduzéieren.
Mat dem Beispill vun zwou einfache GAN Architekturen gëtt gewisen datt an hinnen d'Sich no engem Optimisatiounswee an engem Krees wandert, wat heescht datt d'Optimisatioun als solch net geschitt. Zur selwechter Zäit sinn dës Modeller ganz erfollegräich fir d'Experimenter ze simuléieren déi Biologen op bakterielle Populatiounen ausféieren, wat se forcéiere fir nei Verhalensstrategien op der Sich no Liewensmëttel ze léieren. Mir kënnen ofschléissen datt d'Liewen anescht funktionnéiert wéi d'Optimiséierungsfunktioun.
Spadséiergank GAN Optimisatioun
Alles wat mir elo am Kader vum Maschinnléiere maache si schmuel an extrem formaliséiert Aufgaben, während dës Formalismen net gutt generaliséieren an net eisem Fachwëssen a Beräicher wéi Neurophysiologie a Biologie entspriechen.
Wat wierklech derwäert ass aus dem Gebitt vun der Neurophysiologie an der nächster Zukunft ze léinen ass nei Neuronarchitekturen an eng liicht Revisioun vun de Mechanismen vun der Réckpropagatioun vu Feeler.
De mënschleche Gehir selwer léiert net wéi en neuralt Netzwierk:
- Hien huet keng zoufälleg primär Inputen, och déi, déi duerch d'Sënner an an der Kandheet festgeluecht goufen
- Hien huet inherent Richtungen vun der instinktiver Entwécklung (de Wonsch Sprooch vun engem Puppelchen ze léieren, oprecht ze goen)
Training vun engem individuellen Gehir ass eng Aufgab op nidderegen Niveau, vläicht sollte mir "Kolonien" vu séier verännerend Individuen iwwerdenken, déi Wëssen unenee weiderginn fir d'Mechanismen vun der Gruppevolutioun ze reproduzéieren.
Wat mir elo an ML Algorithmen kënne adoptéieren:
- Zell Lineage Modeller uwenden, déi d'Léieren vun der Bevëlkerung garantéieren, awer de kuerze Liewen vum Individuum ("individuell Gehir")
- Puer-Schoss Léieren mat enger klenger Zuel vu Beispiller
- Méi komplex Neuronstrukturen, liicht ënnerschiddlech Aktivéierungsfunktiounen
- Transfert vum "Genom" op déi nächst Generatiounen - Backpropagation Algorithmus
- Wann mir Neurophysiologie an neural Netzwierker verbannen, léiere mir e multifunktionelle Gehir aus ville Komponenten ze bauen.
Aus dëser Siicht ass d'Praxis vu SOTA-Léisungen schiedlech a soll iwwerschafft ginn fir gemeinsam Aufgaben z'entwéckelen (Benchmarks).
"Veridical Data Science", Bin Yu (Berkeley)
De Bericht ass dem Problem vun der Interpretatioun vun Maschinnléiermodeller an der Methodik fir hir direkt Testen a Verifizéierung gewidmet. All trainéiert ML Modell kann als Quell vu Wëssen erkannt ginn, déi doraus extrahéiert muss ginn.
A ville Beräicher, besonnesch an der Medizin, ass d'Benotzung vun engem Modell onméiglech ouni dëst verstoppt Wëssen ze extrahieren an d'Resultater vum Modell ze interpretéieren - soss si mir net sécher datt d'Resultater stabil, net zoufälleg, zouverlässeg sinn an net ëmbréngen Patient. Eng ganz Richtung vun der Aarbechtsmethodologie entwéckelt sech am Deep Learning Paradigma a geet iwwer seng Grenzen - veridical Data Science. Wat ass et?
Mir wëllen esou Qualitéit vu wëssenschaftleche Publikatiounen a Reproducibilitéit vu Modeller erreechen datt se sinn:
- prévisibel
- berechnbar
- stabil
Dës dräi Prinzipien bilden d'Basis vun der neier Methodologie. Wéi kënne ML Modeller géint dës Critère gepréift ginn? Deen einfachste Wee ass direkt interpretéierbar Modeller ze bauen (Regressiounen, Entscheedungsbeem). Mir wëllen awer och déi direkt Virdeeler vum Deep Learning kréien.
Verschidde existent Weeër fir mam Problem ze schaffen:
- de Modell interpretéieren;
- benotzen Methoden baséiert op Opmierksamkeet;
- benotzen Ensemblen vun algorithms wann Training, a suergen, datt linear interpretable Modeller léieren déi selwecht Äntwerten wéi der neural Reseau virauszesoen, Interpretatioun Fonctiounen aus der linear Modell;
- Trainingsdaten änneren an erhéijen. Dëst beinhalt d'Geräisch, d'Interferenz an d'Datenvergréisserung ze addéieren;
- all Methoden, déi hëllefen, datt d'Resultater vum Modell net zoufälleg sinn an net vu klengen ongewollten Amëschen hänken (adversariell Attacke);
- Interpretatioun vum Modell no der Tatsaach, nom Training;
- studéieren Fonktioun Gewiichter op verschidde Manéieren;
- studéieren d'Wahrscheinlechkeeten vun all Hypothesen, Klass Verdeelung.
Géigner Attack
Modellerfehler si fir jiddereen deier: e prime Beispill ass d'Aarbecht vu Reinhart a Rogov." huet d'Wirtschaftspolitik vu villen europäesche Länner beaflosst an huet se gezwongen Spuerpolitik ze féieren, awer eng virsiichteg Iwwerpréiwung vun den Daten an hir Veraarbechtung Joer méi spéit huet de Géigendeel Resultat gewisen!
All ML Technologie huet säin eegene Liewenszyklus vun der Implementatioun bis zur Ëmsetzung. D'Zil vun der neier Methodologie ass dräi Grondprinzipien an all Etapp vum Liewen vum Modell ze kontrolléieren.
Resultat:
- Verschidde Projete ginn entwéckelt, déi dem ML Modell hëllefen méi zouverlässeg ze sinn. Dëst ass zum Beispill Deeptune (Link op: );
- Fir d'Weiderentwécklung vun der Methodik ass et néideg d'Qualitéit vun de Publikatiounen am Beräich vun der ML wesentlech ze verbesseren;
- Maschinnléiere brauch Leadere mat multidisziplinärem Training an Expertise a béid techneschen a Geeschteswëssenschaftsberäicher.
"Mënschlech Verhalensmodelléierung mat Maschinnléieren: Opportunitéiten an Erausfuerderungen" Nuria M Oliver, Albert Ali Salah
Virtrag gewidmet fir mënschlecht Verhalen ze modelléieren, seng technologesch Fundamenter an Uwendungsperspektiven.
Mënschlech Verhalensmodelléierung kann opgedeelt ginn:
- individuell Verhalen
- Verhalen vun enger klenger Grupp vu Leit
- Mass Verhalen
Jiddereng vun dësen Zorte ka mat ML modelléiert ginn, awer mat komplett verschiddenen Inputinformatiounen a Funktiounen. All Typ huet och seng eege ethesch Themen, déi all Projet duerchgeet:
- individuell Verhalen - Identitéitsklau, Deepfake;
- Verhalen vu Gruppe vu Leit - De-Anonymiséierung, Informatioun iwwer Beweegunge kréien, Telefonsgespréicher, asw.
individuell Verhalen
Meeschtens am Zesummenhang mam Thema Computer Vision - Unerkennung vu mënschlechen Emotiounen a Reaktiounen. Vläicht nëmmen am Kontext, an der Zäit oder mat der relativer Skala vu senger eegener Verännerlechkeet vun Emotiounen. De Rutsch weist d'Unerkennung vum Mona Lisa seng Emotiounen mat Kontext aus dem emotionalen Spektrum vun de Mëttelmier Fraen. Resultat: e Laachen vu Freed, awer mat Veruechtung an Eel. De Grond ass héchstwahrscheinlech an der technescher Manéier fir eng "neutral" Emotioun ze definéieren.
Verhalen vun enger klenger Grupp vu Leit
Bis elo ass de schlëmmste Modell wéinst net genuch Informatioun. Als Beispill goufen Wierker vun 2018 – 2019 gewisen. op Dosende vu Leit X Dosende vu Videoen (cf. 100k++ Bilddatesets). Fir dës Aufgab am beschten ze modelléieren, ass multimodal Informatioun gebraucht, am léifsten vu Sensoren op engem Kierper Héichtmeter, Thermometer, Mikrofonopnam, asw.
Mass Verhalen
Déi meescht entwéckelt Gebitt, well de Client ass d'UNO a vill Staaten. Outdoor Iwwerwaachungskameraen, Daten aus Telefontuerm - Rechnung, SMS, Appellen, Daten iwwer Bewegung tëscht Staatsgrenzen - all dat gëtt e ganz zouverléisseg Bild vun der Bewegung vu Leit a sozialer Onstabilitéit. Potenziell Uwendungen vun der Technologie: Optimiséierung vu Rettungsaktiounen, Hëllef a rechtzäiteg Evakuéierung vun der Bevëlkerung während Noutfäll. Déi benotzt Modeller sinn haaptsächlech nach schlecht interpretéiert - dat si verschidde LSTMs a convolutional Netzwierker. Et gouf eng kuerz Bemierkung datt d'UNO sech fir en neit Gesetz lobbyt, dat europäesch Geschäfter verflichte fir anonymiséiert Donnéeën ze deelen, déi fir all Fuerschung néideg sinn.
"Vum System 1 bis System 2 Deep Learning", Yoshua Bengio
Am Joshua Bengio sengem Virtrag begéint déif Léieren Neurowëssenschaften um Niveau vun der Zilsetzung.
De Bengio identifizéiert zwou Haaptarte vu Probleemer no der Methodik vum Nobelpräisdréier Daniel Kahneman (Buch "")
Typ 1 - System 1, onbewosst Handlungen déi mir "automatesch" maachen (alt Gehir): Auto fueren op vertraute Plazen, Spazéieren, Gesiichter erkennen.
Typ 2 - System 2, bewosst Handlungen (Cerebral Cortex), Zilsetzung, Analyse, Denken, Komposit Aufgaben.
AI huet bis elo genuch Héichten erreecht nëmmen an Aufgaben vun der éischter Zort, während eis Aufgab ass et op déi zweet ze bréngen, et ze léieren multidisziplinär Operatiounen auszeféieren a mat Logik an héije kognitiven Fäegkeeten operéieren.
Fir dëst Zil z'erreechen ass proposéiert:
- an NLP Aufgaben, benotzt Opmierksamkeet als Schlësselmechanismus fir Denken ze modelléieren
- benotzt Meta-Léieren a Representatiounsléiere fir Features besser ze modelléieren déi d'Bewosstsinn an hir Lokalisatioun beaflossen - an op hirer Basis weider mat méi héije Konzepter operéieren.
Amplaz vun enger Conclusioun, hei ass en invitéiert Gespréich: Bengio ass ee vu ville Wëssenschaftler déi probéieren d'Feld vun ML iwwer Optimiséierungsproblemer, SOTA an nei Architekturen auszebauen.
D'Fro bleift oppen a wéi engem Mooss d'Kombinatioun vu Problemer vum Bewosstsinn, den Afloss vun der Sprooch op Denken, Neurobiologie an Algorithmen ass dat wat eis an Zukunft waart an et erlaabt eis op Maschinnen ze plënneren, déi wéi Leit "denken".
Merci!
Source: will.com