NeuroIPS () est la plus grande conférence au monde sur l'apprentissage automatique et l'intelligence artificielle et l'événement principal du monde de l'apprentissage profond.
Est-ce que nous, ingénieurs DS, maîtriserons également la biologie, la linguistique et la psychologie au cours de la nouvelle décennie ? Nous vous le dirons dans notre revue.
Cette année, la conférence a rassemblé plus de 13500 80 personnes de 2019 pays à Vancouver, au Canada. Ce n'est pas la première année que Sberbank représente la Russie à la conférence - l'équipe DS a parlé de la mise en œuvre du ML dans les processus bancaires, de la compétition ML et des capacités de la plateforme Sberbank DS. Quelles ont été les principales tendances de XNUMX dans la communauté ML ? Les participants à la conférence disent : и .
Cette année, NeurIPS a accepté plus de 1400 XNUMX articles : algorithmes, nouveaux modèles et nouvelles applications à de nouvelles données.
Table des matières:
- Tendances
-
- Interprétabilité du modèle
- Multidisciplinarité
- Raisonnement
- RL
- GAN
- Conférences invitées de base
-
- « Intelligence sociale », Blaise Aguera y Arcas (Google)
- « Science des données vérifiées », Bin Yu (Berkeley)
- « Modélisation du comportement humain avec apprentissage automatique : opportunités et défis », Nuria M Oliver, Albert Ali Salah
- « Du système 1 au système 2 Deep Learning », Yoshua Bengio
Tendances 2019 de l'année
1. Interprétabilité du modèle et nouvelle méthodologie ML
Le sujet principal de la conférence est l'interprétation et la preuve des raisons pour lesquelles nous obtenons certains résultats. On peut parler longtemps de l'importance philosophique de l'interprétation de la « boîte noire », mais il y a eu des méthodes et des développements techniques plus réels dans ce domaine.
La méthodologie permettant de reproduire des modèles et d’en extraire des connaissances constitue une nouvelle boîte à outils pour la science. Les modèles peuvent servir d'outil pour acquérir de nouvelles connaissances et les tester, et chaque étape de prétraitement, de formation et d'application du modèle doit être reproductible.
Une part importante des publications est consacrée non pas à la construction de modèles et d'outils, mais aux problèmes de sécurité, de transparence et de vérifiabilité des résultats. En particulier, un flux distinct est apparu concernant les attaques contre le modèle (attaques contradictoires), et des options sont envisagées à la fois pour les attaques contre la formation et les attaques contre l'application.
Article:
- — un article programmatique sur la méthodologie de vérification des modèles. Comprend un aperçu des outils modernes d'interprétation des modèles, en particulier l'utilisation de l'attention et l'obtention de l'importance des caractéristiques en « distillant » le réseau neuronal avec des modèles linéaires.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Édouard Raff
ExBert.net montre l'interprétation du modèle pour les tâches de traitement de texte
2. Multidisciplinarité
Pour assurer une vérification fiable et développer des mécanismes de vérification et d'élargissement des connaissances, nous avons besoin de spécialistes dans des domaines connexes possédant simultanément des compétences en ML et dans le domaine (médecine, linguistique, neurobiologie, éducation, etc.). On notera surtout la présence plus importante d'ouvrages et de discours en neurosciences et sciences cognitives : il y a un rapprochement des spécialistes et des emprunts d'idées.
A ce rapprochement s'ajoute une multidisciplinarité qui se dessine dans le traitement conjoint d'informations de sources diverses : texte et photos, texte et jeux, bases de données graphiques + texte et photos.
Article:
- Neurosciences + ML —
- VisualQA -
- RL + PNL -
Deux modèles - stratège et exécutif - basés sur la stratégie en ligne de jeu RL et PNL
3. Raisonnement
Le renforcement de l’intelligence artificielle est un mouvement vers des systèmes d’auto-apprentissage, de raisonnement et de raisonnement « conscients ». En particulier, l’inférence causale et le raisonnement de bon sens se développent. Certains rapports sont consacrés au méta-apprentissage (sur la façon d'apprendre à apprendre) et à la combinaison des technologies DL avec la logique du 1er et du 2e ordre - le terme Intelligence Générale Artificielle (AGI) devient un terme courant dans les discours des orateurs.
Article:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4. Apprentissage par renforcement
La plupart des travaux continuent de développer les domaines traditionnels de RL - DOTA2, Starcraft, combinant des architectures avec la vision par ordinateur, la PNL et les bases de données graphiques.
Une autre journée de la conférence a été consacrée à un atelier RL, au cours duquel l'architecture du modèle Optimistic Actor Critic a été présentée, supérieure à toutes les précédentes, en particulier Soft Actor Critic.
Article:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)* ; Toshiki Kataoka (Réseaux préférés, Inc.) ; Prabhat Nagarajan (Réseaux préférés) ; Takahiro Ishikawa (Université de Tokyo) [lien pdf externe].
- ; Danijar Hafner (Google)* ; Timothy Lillicrap (DeepMind); Jimmy Ba (Université de Toronto); Mohammad Norouzi (Google Brain)
Les joueurs de StarCraft affrontent le modèle Alphastar (DeepMind)
5.GAN
Les réseaux génératifs sont toujours à l'honneur : de nombreux travaux utilisent les GAN vanille pour des preuves mathématiques, et les appliquent également de manière nouvelle et inhabituelle (modèles génératifs de graphes, travail avec des séries, application aux relations de cause à effet dans les données, etc.).
Article:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Depuis que plus de travail a été accepté Ci-dessous, nous parlerons des discours les plus importants.
Conférences invitées
« Intelligence sociale », Blaise Aguera y Arcas (Google)
L'exposé se concentre sur la méthodologie générale de l'apprentissage automatique et les perspectives d'évolution actuelle du secteur : à quel carrefour sommes-nous confrontés ? Comment fonctionnent le cerveau et l’évolution, et pourquoi utilisons-nous si peu ce que nous savons déjà sur le développement des systèmes naturels ?
Le développement industriel du ML coïncide largement avec les étapes marquantes du développement de Google, qui publie année après année ses recherches sur NeurIPS :
- 1997 – lancement des outils de recherche, premiers serveurs, petite puissance de calcul
- 2010 – Jeff Dean lance le projet Google Brain, le boom des réseaux de neurones au tout début
- 2015 – implémentation industrielle de réseaux de neurones, reconnaissance faciale rapide directement sur un appareil local, processeurs de bas niveau adaptés au calcul tensoriel – TPU. Google lance Coral ai - un analogue du Raspberry Pi, un mini-ordinateur pour introduire des réseaux de neurones dans des installations expérimentales
- 2017 – Google commence à développer une formation décentralisée et à combiner les résultats de la formation sur les réseaux neuronaux de différents appareils en un seul modèle – sur Android
Aujourd'hui, toute une industrie se consacre à la sécurité des données, à l'agrégation et à la réplication des résultats d'apprentissage sur des appareils locaux.
– une direction du ML dans laquelle les modèles individuels apprennent indépendamment les uns des autres et sont ensuite combinés en un seul modèle (sans centraliser les données sources), ajusté aux événements rares, aux anomalies, à la personnalisation, etc. Tous les appareils Android sont essentiellement un superordinateur informatique unique pour Google.
Les modèles génératifs basés sur l’apprentissage fédéré constituent une orientation future prometteuse selon Google, qui en est « aux premiers stades d’une croissance exponentielle ». Les GAN, selon le conférencier, sont capables d'apprendre à reproduire le comportement de masse des populations d'organismes vivants et des algorithmes de pensée.
À l'aide de l'exemple de deux architectures GAN simples, il est montré que la recherche d'un chemin d'optimisation erre en cercle, ce qui signifie que l'optimisation en tant que telle ne se produit pas. En même temps, ces modèles réussissent très bien à simuler les expériences que les biologistes réalisent sur des populations bactériennes, les obligeant à apprendre de nouvelles stratégies comportementales à la recherche de nourriture. Nous pouvons conclure que la vie fonctionne différemment de la fonction d’optimisation.
Optimisation du GAN en marche
Tout ce que nous faisons désormais dans le cadre de l'apprentissage automatique, ce sont des tâches étroites et extrêmement formalisées, alors que ces formalismes ne se généralisent pas bien et ne correspondent pas à nos connaissances dans des domaines tels que la neurophysiologie et la biologie.
Ce qui mérite vraiment d'être emprunté au domaine de la neurophysiologie dans un avenir proche, ce sont de nouvelles architectures neuronales et une légère révision des mécanismes de rétropropagation des erreurs.
Le cerveau humain lui-même n’apprend pas comme un réseau neuronal :
- Il n'a pas d'apports primaires aléatoires, y compris ceux transmis par les sens et dans l'enfance.
- Il a des directions inhérentes de développement instinctif (le désir d'apprendre le langage dès un nourrisson, marchant debout)
Entraîner un cerveau individuel est une tâche de bas niveau ; peut-être devrions-nous envisager des « colonies » d’individus en évolution rapide qui se transmettent des connaissances pour reproduire les mécanismes de l’évolution du groupe.
Ce que nous pouvons adopter dès maintenant dans les algorithmes de ML :
- Appliquer des modèles de lignée cellulaire qui assurent l’apprentissage de la population, mais la courte vie de l’individu (« cerveau individuel »)
- Apprentissage en quelques étapes à l'aide d'un petit nombre d'exemples
- Structures neuronales plus complexes, fonctions d'activation légèrement différentes
- Transférer le « génome » aux générations suivantes – algorithme de rétropropagation
- Une fois que nous aurons connecté la neurophysiologie et les réseaux neuronaux, nous apprendrons à construire un cerveau multifonctionnel à partir de nombreux composants.
De ce point de vue, la pratique des solutions SOTA est préjudiciable et devrait être revue dans le souci de développer des tâches communes (benchmarks).
« Science des données vérifiées », Bin Yu (Berkeley)
Le rapport est consacré au problème de l'interprétation des modèles d'apprentissage automatique et à la méthodologie de leurs tests et vérifications directs. Tout modèle ML formé peut être perçu comme une source de connaissances qui doit en être extraite.
Dans de nombreux domaines, notamment en médecine, l'utilisation d'un modèle est impossible sans extraire ces connaissances cachées et interpréter les résultats du modèle - sinon nous ne serons pas sûrs que les résultats seront stables, non aléatoires, fiables et ne tueront pas le modèle. patient. Dans le cadre du paradigme de l'apprentissage profond, toute une direction de méthodologie de travail se développe et dépasse ses frontières : la science des données véridiques. Ce que c'est?
Nous souhaitons parvenir à une qualité de publications scientifiques et une reproductibilité des modèles telles qu'elles soient :
- prévisible
- calculable
- écurie
Ces trois principes constituent la base de la nouvelle méthodologie. Comment les modèles ML peuvent-ils être vérifiés par rapport à ces critères ? Le plus simple est de construire des modèles immédiatement interprétables (régressions, arbres de décision). Cependant, nous souhaitons également bénéficier des avantages immédiats du deep learning.
Plusieurs façons existantes de résoudre le problème :
- interpréter le modèle ;
- utiliser des méthodes basées sur l'attention ;
- utiliser des ensembles d'algorithmes lors de la formation et garantir que les modèles linéaires interprétables apprennent à prédire les mêmes réponses que le réseau neuronal, en interprétant les caractéristiques du modèle linéaire ;
- modifier et augmenter les données de formation. Cela inclut l'ajout de bruit, d'interférences et d'augmentation des données ;
- toute méthode permettant de garantir que les résultats du modèle ne sont pas aléatoires et ne dépendent pas d’interférences indésirables mineures (attaques contradictoires) ;
- interpréter le modèle après coup, après la formation ;
- étudier les pondérations des caractéristiques de diverses manières ;
- étudier les probabilités de toutes les hypothèses, la répartition des classes.
Attaque contradictoire
Les erreurs de modélisation coûtent cher à tous : le travail de Reinhart et Rogov en est un bon exemple. »" a influencé les politiques économiques de nombreux pays européens et les a contraints à poursuivre des politiques d'austérité, mais une nouvelle vérification minutieuse des données et leur traitement des années plus tard ont montré le résultat inverse !
Toute technologie ML a son propre cycle de vie, de la mise en œuvre à la mise en œuvre. L’objectif de la nouvelle méthodologie est de vérifier trois principes de base à chaque étape de la vie du modèle.
Résultats:
- Plusieurs projets sont en cours de développement qui contribueront à rendre le modèle ML plus fiable. Il s'agit par exemple de deeptune (lien vers : );
- Pour développer davantage la méthodologie, il est nécessaire d'améliorer considérablement la qualité des publications dans le domaine du ML ;
- L’apprentissage automatique a besoin de dirigeants dotés d’une formation multidisciplinaire et d’une expertise dans les domaines techniques et humains.
« Modélisation du comportement humain avec apprentissage automatique : opportunités et défis » Nuria M Oliver, Albert Ali Salah
Conférence consacrée à la modélisation du comportement humain, ses fondements technologiques et ses perspectives d'application.
La modélisation du comportement humain peut être divisée en :
- comportement individuel
- comportement d'un petit groupe de personnes
- comportement de masse
Chacun de ces types peut être modélisé à l’aide du ML, mais avec des informations d’entrée et des fonctionnalités complètement différentes. Chaque type a également ses propres problématiques éthiques que traverse chaque projet :
- comportement individuel – vol d’identité, deepfake ;
- comportement de groupes de personnes - désanonymisation, obtention d'informations sur les mouvements, les appels téléphoniques, etc. ;
comportement individuel
Principalement lié au thème de la vision par ordinateur - reconnaissance des émotions et des réactions humaines. Peut-être seulement en fonction du contexte, du temps ou de l'ampleur relative de sa propre variabilité d'émotions. La diapositive montre la reconnaissance des émotions de Mona Lisa en utilisant le contexte du spectre émotionnel des femmes méditerranéennes. Résultat : un sourire de joie, mais avec mépris et dégoût. La raison réside probablement dans la manière technique de définir une émotion « neutre ».
Comportement d'un petit groupe de personnes
Jusqu’à présent, le pire modèle est dû à un manque d’informations. À titre d’exemple, des œuvres de 2018 à 2019 ont été présentées. sur des dizaines de personnes X dizaines de vidéos (cf. 100k++ jeux de données d'images). Pour modéliser au mieux cette tâche, des informations multimodales sont nécessaires, de préférence provenant de capteurs sur un altimètre corporel, un thermomètre, un enregistrement par microphone, etc.
Comportement de masse
Le domaine le plus développé, puisque le client est l'ONU et de nombreux États. Caméras de surveillance extérieures, données des tours téléphoniques - facturation, SMS, appels, données sur les mouvements entre les frontières des États - tout cela donne une image très fiable des mouvements de personnes et des instabilités sociales. Applications potentielles de la technologie : optimisation des opérations de sauvetage, assistance et évacuation rapide de la population en cas d'urgence. Les modèles utilisés sont pour la plupart encore mal interprétés - il s'agit de divers LSTM et réseaux convolutifs. Il y a eu une brève remarque selon laquelle l'ONU faisait pression pour une nouvelle loi qui obligerait les entreprises européennes à partager les données anonymisées nécessaires à toute recherche.
« Du système 1 au système 2 Deep Learning », Yoshua Bengio
Dans la conférence de Joshua Bengio, l'apprentissage profond rencontre les neurosciences au niveau de la définition d'objectifs.
Bengio identifie deux principaux types de problèmes selon la méthodologie du lauréat du prix Nobel Daniel Kahneman (livre «»)
type 1 - Système 1, actions inconscientes que nous faisons « automatiquement » (cerveau ancien) : conduire une voiture dans des lieux familiers, marcher, reconnaître des visages.
type 2 - Système 2, actions conscientes (cortex cérébral), définition d'objectifs, analyse, réflexion, tâches composites.
L'IA n'a jusqu'à présent atteint des sommets suffisants que dans les tâches du premier type, tandis que notre tâche est de l'amener au second, en lui apprenant à effectuer des opérations multidisciplinaires et à fonctionner avec une logique et des compétences cognitives de haut niveau.
Pour atteindre cet objectif, il est proposé :
- dans les tâches de PNL, utiliser l'attention comme mécanisme clé pour modéliser la pensée
- utiliser le méta-apprentissage et l'apprentissage des représentations pour mieux modéliser les caractéristiques qui influencent la conscience et leur localisation - et, sur cette base, passer à l'exploitation avec des concepts de niveau supérieur.
Au lieu d'une conclusion, voici une conférence invitée : Bengio est l'un des nombreux scientifiques qui tentent d'élargir le domaine du ML au-delà des problèmes d'optimisation, de SOTA et des nouvelles architectures.
La question reste ouverte de savoir dans quelle mesure la combinaison des problèmes de conscience, de l’influence du langage sur la pensée, de la neurobiologie et des algorithmes est ce qui nous attend dans le futur et nous permettra de passer à des machines qui « pensent » comme les gens.
Je vous remercie!
Source: habr.com