NeuroIPS () és la conferència més gran del món sobre aprenentatge automàtic i intel·ligència artificial i el principal esdeveniment del món de l'aprenentatge profund.
Nosaltres, els enginyers de DS, també dominarem la biologia, la lingüística i la psicologia en la nova dècada? T'ho direm a la nostra ressenya.
Enguany, la conferència va reunir més de 13500 persones de 80 països a Vancouver, Canadà. Aquest no és el primer any que Sberbank representa Rússia a la conferència: l'equip de DS va parlar sobre la implementació de l'ML en els processos bancaris, sobre la competència d'ML i sobre les capacitats de la plataforma Sberbank DS. Quines van ser les principals tendències del 2019 a la comunitat ML? Els participants de la conferència diuen: и .
Aquest any, NeurIPS va acceptar més de 1400 articles: algorismes, nous models i noves aplicacions a noves dades.
Contingut:
- Tendències
-
- Interpretabilitat del model
- Multidisciplinarietat
- Raonament
- RL
- GAN
- Xerrades bàsiques convidades
-
- “Social Intelligence”, Blaise Aguera y Arcas (Google)
- "Ciència de dades verídica", Bin Yu (Berkeley)
- "Modelització del comportament humà amb aprenentatge automàtic: oportunitats i reptes", Nuria M Oliver, Albert Ali Salah
- "De l'aprenentatge profund del sistema 1 al sistema 2", Yoshua Bengio
Tendències de l'any 2019
1. Interpretabilitat del model i nova metodologia ML
El tema principal de la conferència és la interpretació i l'evidència de per què obtenim determinats resultats. Es pot parlar durant molt de temps de la importància filosòfica de la interpretació de la "caixa negra", però hi va haver més mètodes reals i desenvolupaments tècnics en aquest àmbit.
La metodologia per replicar models i extreure'n coneixement és un nou conjunt d'eines per a la ciència. Els models poden servir com a eina per obtenir nous coneixements i provar-los, i cada etapa de preprocessament, formació i aplicació del model ha de ser reproduïble.
Una part important de les publicacions es dediquen no a la construcció de models i eines, sinó a la problemàtica de garantir la seguretat, la transparència i la verificació dels resultats. En particular, ha aparegut un flux separat sobre atacs al model (atacs adversaris) i es consideren opcions tant per als atacs a l'entrenament com per als atacs a l'aplicació.
Articles:
- — un article programàtic sobre la metodologia de verificació de models. Inclou una visió general de les eines modernes per interpretar models, en particular, l'ús de l'atenció i l'obtenció de la importància de les característiques mitjançant la "destil·lació" de la xarxa neuronal amb models lineals.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Raff
ExBert.net mostra la interpretació de models per a tasques de processament de text
2. Multidisciplinarietat
Per garantir una verificació fiable i desenvolupar mecanismes de verificació i ampliació del coneixement, necessitem especialistes en àmbits afins que tinguin simultàniament competències en ML i en l'àrea temàtica (medicina, lingüística, neurobiologia, educació, etc.). Cal destacar especialment la presència més significativa d'obres i discursos en neurociències i ciències cognitives: hi ha un acostament d'especialistes i un manlleu d'idees.
A més d'aquest acostament, està sorgint la multidisciplinarietat en el tractament conjunt de la informació de diverses fonts: text i fotografies, text i jocs, bases de dades de gràfics + text i fotografies.
Articles:
- Neurociència + ML —
- VisualQA -
- RL + PNL -
Dos models - estrateg i executiu - basats en RL i PNL juguen a l'estratègia en línia
3. Raonament
Enfortir la intel·ligència artificial és un moviment cap a sistemes d'autoaprenentatge, “conscients”, de raonament i raonament. En particular, s'estan desenvolupant la inferència causal i el raonament de sentit comú. Alguns dels informes es dediquen al metaaprenentatge (sobre com aprendre a aprendre) i la combinació de tecnologies DL amb lògica de primer i segon ordre: el terme Intel·ligència General Artificial (AGI) s'està convertint en un terme comú en els discursos dels ponents.
Articles:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4. Aprenentatge de reforç
La major part del treball continua desenvolupant àrees tradicionals de RL - DOTA2, Starcraft, combinant arquitectures amb visió per computador, PNL, bases de dades de gràfics.
Un dia a part de la conferència es va dedicar a un taller de RL, en el qual es va presentar l'arquitectura Optimistic Actor Critic Model, superior a totes les anteriors, en particular Soft Actor Critic.
Articles:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (Xarxes preferides); Takahiro Ishikawa (La Universitat de Tòquio) [enllaç pdf extern].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Universitat de Toronto); Mohammad Norouzi (Google Brain)
Els jugadors de StarCraft lluiten contra el model Alphastar (DeepMind)
5.GAN
Les xarxes generatives encara estan en el punt de mira: molts treballs utilitzen GAN de vainilla per a demostracions matemàtiques, i també les apliquen de maneres noves i inusuals (models generatius de gràfics, treball amb sèries, aplicació a les relacions causa-efecte en dades, etc.).
Articles:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Com que es va acceptar més feina A continuació parlarem dels discursos més importants.
Xerrades convidades
“Social Intelligence”, Blaise Aguera y Arcas (Google)
La xerrada se centra en la metodologia general de l'aprenentatge automàtic i les perspectives que canvien la indústria ara mateix: a quina cruïlla ens trobem? Com funcionen el cervell i l'evolució, i per què fem tan poc ús del que ja sabem sobre el desenvolupament dels sistemes naturals?
El desenvolupament industrial de ML coincideix en gran mesura amb les fites del desenvolupament de Google, que publica any rere any la seva investigació sobre NeurIPS:
- 1997: llançament de les instal·lacions de cerca, primers servidors, petita potència informàtica
- 2010 - Jeff Dean llança el projecte Google Brain, el boom de les xarxes neuronals al principi
- 2015: implementació industrial de xarxes neuronals, reconeixement ràpid de cares directament en un dispositiu local, processadors de baix nivell adaptats per a la informàtica tensor - TPU. Google llança Coral ai, un anàleg de raspberry pi, un mini ordinador per introduir xarxes neuronals en instal·lacions experimentals
- 2017: Google comença a desenvolupar formació descentralitzada i combina els resultats de l'entrenament en xarxes neuronals de diferents dispositius en un sol model: a Android
Avui, tota una indústria es dedica a la seguretat de les dades, l'agregació i la replicació dels resultats d'aprenentatge en dispositius locals.
– una direcció de ML en què els models individuals aprenen independentment els uns dels altres i després es combinen en un únic model (sense centralitzar les dades font), ajustat per a esdeveniments rars, anomalies, personalització, etc. Tots els dispositius Android són essencialment un únic superordinador informàtic per a Google.
Els models generatius basats en l'aprenentatge federat són una adreça futura prometedora segons Google, que es troba "en les primeres etapes de creixement exponencial". Els GAN, segons el professor, són capaços d'aprendre a reproduir el comportament massiu de poblacions d'organismes vius i algorismes de pensament.
Utilitzant l'exemple de dues arquitectures GAN senzilles, es demostra que en elles la recerca d'un camí d'optimització vagi en cercle, la qual cosa significa que l'optimització com a tal no es produeix. Al mateix temps, aquests models tenen molt èxit a l'hora de simular els experiments que fan els biòlegs sobre poblacions bacterianes, obligant-los a aprendre noves estratègies de comportament a la recerca d'aliment. Podem concloure que la vida funciona de manera diferent a la funció d'optimització.
Optimització GAN a peu
Tot el que fem ara en el marc de l'aprenentatge automàtic són tasques estretes i extremadament formalitzades, mentre que aquests formalismes no es generalitzen bé i no es corresponen amb els nostres coneixements temàtics en àrees com la neurofisiologia i la biologia.
El que realment val la pena agafar prestat del camp de la neurofisiologia en un futur proper són noves arquitectures de neurones i una lleugera revisió dels mecanismes de retropropagació dels errors.
El propi cervell humà no aprèn com una xarxa neuronal:
- No té inputs primaris aleatoris, inclosos els establerts a través dels sentits i durant la infància
- Té direccions inherents de desenvolupament instintiu (desig d'aprendre llenguatge d'un nadó, caminar dret)
L'entrenament d'un cervell individual és una tasca de baix nivell; potser hauríem de considerar "colonies" d'individus que canvien ràpidament que es transmeten coneixements entre ells per reproduir els mecanismes de l'evolució del grup.
Què podem adoptar ara als algorismes de ML:
- Aplicar models de llinatge cel·lular que assegurin l'aprenentatge de la població, però la vida curta de l'individu (“cervell individual”)
- Aprenentatge de pocs cops amb un nombre reduït d'exemples
- Estructures neuronals més complexes, funcions d'activació lleugerament diferents
- Transferència del "genoma" a les properes generacions - algorisme de retropropagació
- Un cop connectem la neurofisiologia i les xarxes neuronals, aprendrem a construir un cervell multifuncional a partir de molts components.
Des d'aquest punt de vista, la pràctica de les solucions SOTA és perjudicial i s'hauria de revisar per tal de desenvolupar tasques comunes (benchmarks).
"Ciència de dades verídica", Bin Yu (Berkeley)
L'informe està dedicat al problema de la interpretació dels models d'aprenentatge automàtic i la metodologia per a la seva prova i verificació directa. Qualsevol model d'ML entrenat pot ser percebut com una font de coneixement que cal extreure'n.
En moltes àrees, especialment en medicina, l'ús d'un model és impossible sense extreure aquest coneixement ocult i interpretar els resultats del model; en cas contrari, no estarem segurs que els resultats siguin estables, no aleatoris, fiables i no mataran el pacient. Tota una metodologia de treball s'està desenvolupant dins del paradigma de l'aprenentatge profund i va més enllà dels seus límits: la ciència de dades verídica. Què és això?
Volem aconseguir tal qualitat de publicacions científiques i reproductibilitat de models que siguin:
- previsible
- computable
- estable
Aquests tres principis són la base de la nova metodologia. Com es poden comprovar els models ML amb aquests criteris? La manera més senzilla és construir models immediatament interpretables (regressions, arbres de decisió). Tanmateix, també volem obtenir els beneficis immediats de l'aprenentatge profund.
Diverses maneres existents de treballar amb el problema:
- interpretar el model;
- utilitzar mètodes basats en l'atenció;
- utilitzar conjunts d'algorismes durant l'entrenament, i assegurar-se que els models interpretables lineals aprenen a predir les mateixes respostes que la xarxa neuronal, interpretant les característiques del model lineal;
- canviar i augmentar les dades de formació. Això inclou afegir soroll, interferències i augmentar les dades;
- qualsevol mètode que ajudi a garantir que els resultats del model no siguin aleatoris i no depenguin d'interferències no desitjades menors (atacs adversaris);
- interpretar el model després del fet, després de la formació;
- estudiar els pesos de les característiques de diverses maneres;
- estudiar les probabilitats de totes les hipòtesis, distribució de classes.
Atac adversari
Els errors de modelització són costosos per a tothom: un bon exemple és el treball de Reinhart i Rogov"." va influir en les polítiques econòmiques de molts països europeus i els va obligar a seguir polítiques d'austeritat, però una revisió acurada de les dades i el seu processament anys més tard va mostrar el resultat contrari!
Qualsevol tecnologia ML té el seu propi cicle de vida des de la implementació fins a la implementació. L'objectiu de la nova metodologia és comprovar tres principis bàsics en cada etapa de la vida del model.
Resultats:
- S'estan desenvolupant diversos projectes que ajudaran a que el model ML sigui més fiable. Això és, per exemple, deeptune (enllaç a: );
- Per a un desenvolupament posterior de la metodologia, és necessari millorar significativament la qualitat de les publicacions en l'àmbit de l'ML;
- L'aprenentatge automàtic necessita líders amb formació i experiència multidisciplinària tant en camps tècnics com humans.
"Modelització del comportament humà amb aprenentatge automàtic: oportunitats i reptes" Nuria M Oliver, Albert Ali Salah
Conferència dedicada a la modelització del comportament humà, els seus fonaments tecnològics i perspectives d'aplicació.
El modelatge del comportament humà es pot dividir en:
- comportament individual
- comportament d'un petit grup de persones
- comportament de masses
Cadascun d'aquests tipus es pot modelar mitjançant ML, però amb informació i característiques d'entrada completament diferents. Cada tipus també té els seus propis problemes ètics pels quals passa cada projecte:
- comportament individual: robatori d'identitat, deepfake;
- comportament de grups de persones: desanonimització, obtenció d'informació sobre moviments, trucades telefòniques, etc.;
comportament individual
Principalment relacionat amb el tema de la visió per ordinador: reconeixement de les emocions i reaccions humanes. Potser només en el context, en el temps o amb l'escala relativa de la seva pròpia variabilitat d'emocions. La diapositiva mostra el reconeixement de les emocions de la Mona Lisa utilitzant el context de l'espectre emocional de les dones mediterrànies. Resultat: un somriure d'alegria, però amb menyspreu i fàstic. El motiu més probable és la forma tècnica de definir una emoció "neutre".
Comportament d'un grup reduït de persones
Fins ara, el pitjor model es deu a la manca d'informació. Com a exemple, es van mostrar obres del 2018 al 2019. en desenes de persones X desenes de vídeos (vegeu conjunts de dades d'imatges de 100k++). Per modelar millor aquesta tasca, es necessita informació multimodal, preferiblement de sensors d'un altímetre corporal, termòmetre, enregistrament de micròfons, etc.
Comportament de masses
La zona més desenvolupada, ja que el client és l'ONU i molts estats. Càmeres de vigilància a l'aire lliure, dades de torres telefòniques -facturació, SMS, trucades, dades de moviment entre fronteres estatals-, tot això ofereix una imatge molt fiable del moviment de persones i de les inestabilitats socials. Aplicacions potencials de la tecnologia: optimització de les operacions de rescat, assistència i evacuació oportuna de la població en cas d'emergència. Els models utilitzats encara estan mal interpretats: es tracta de diversos LSTM i xarxes convolucionals. Hi va haver una breu observació que l'ONU estava fent pressió per una nova llei que obligués les empreses europees a compartir les dades anònimes necessàries per a qualsevol investigació.
"De l'aprenentatge profund del sistema 1 al sistema 2", Yoshua Bengio
A la conferència de Joshua Bengio, l'aprenentatge profund es troba amb la neurociència al nivell de l'establiment d'objectius.
Bengio identifica dos tipus principals de problemes segons la metodologia del premi Nobel Daniel Kahneman (llibre “")
tipus 1 - Sistema 1, accions inconscients que fem “automàticament” (cervell antic): conduir un cotxe en llocs coneguts, caminar, reconèixer cares.
tipus 2 - Sistema 2, accions conscients (escorça cerebral), establiment d'objectius, anàlisi, pensament, tasques compostes.
La IA ha assolit fins ara cotes suficients només en tasques del primer tipus, mentre que la nostra tasca és portar-la al segon, ensenyant-li a realitzar operacions multidisciplinàries i a operar amb lògica i habilitats cognitives d'alt nivell.
Per aconseguir aquest objectiu es proposa:
- en tasques de PNL, utilitzeu l'atenció com a mecanisme clau per modelar el pensament
- utilitzar el metaaprenentatge i l'aprenentatge de la representació per modelar millor les característiques que influeixen en la consciència i la seva localització, i sobre la seva base passar a operar amb conceptes de nivell superior.
En lloc d'una conclusió, aquí teniu una xerrada convidada: Bengio és un dels molts científics que estan intentant ampliar el camp de l'ML més enllà dels problemes d'optimització, SOTA i noves arquitectures.
Queda oberta la pregunta fins a quin punt la combinació de problemes de consciència, la influència del llenguatge en el pensament, la neurobiologia i els algorismes és el que ens espera en el futur i ens permetrà passar a màquines que “pensen” com les persones.
Gràcies!
Font: www.habr.com