NeuroIPS () ist die weltweit größte Konferenz zu maschinellem Lernen und künstlicher Intelligenz und die wichtigste Veranstaltung in der Welt des Deep Learning.
Werden wir DS-Ingenieure im neuen Jahrzehnt auch Biologie, Linguistik und Psychologie beherrschen? Das verraten wir euch in unserem Testbericht.
In diesem Jahr brachte die Konferenz mehr als 13500 Menschen aus 80 Ländern in Vancouver, Kanada, zusammen. Dies ist nicht das erste Jahr, in dem die Sberbank Russland auf der Konferenz vertritt – das DS-Team sprach über die Implementierung von ML in Bankprozessen, über den ML-Wettbewerb und über die Fähigkeiten der Sberbank DS-Plattform. Was waren die wichtigsten Trends des Jahres 2019 in der ML-Community? Konferenzteilnehmer sagen: и .
In diesem Jahr akzeptierte NeurIPS mehr als 1400 Beiträge – Algorithmen, neue Modelle und neue Anwendungen auf neue Daten.
Inhalt:
- Trends
-
- Modellinterpretierbarkeit
- Multidisziplinarität
- Argumentation
- RL
- GAN
- Grundlegende eingeladene Vorträge
-
- „Soziale Intelligenz“, Blaise Aguera y Arcas (Google)
- „Veridical Data Science“, Bin Yu (Berkeley)
- „Modellierung menschlichen Verhaltens mit maschinellem Lernen: Chancen und Herausforderungen“, Nuria M Oliver, Albert Ali Salah
- „Von System 1 zu System 2 Deep Learning“, Yoshua Bengio
Trends 2019 des Jahres
1. Modellinterpretierbarkeit und neue ML-Methodik
Das Hauptthema der Konferenz ist die Interpretation und der Nachweis, warum wir bestimmte Ergebnisse erhalten. Über die philosophische Bedeutung der „Black-Box“-Interpretation kann man lange sprechen, aber es gab in diesem Bereich realere Methoden und technische Entwicklungen.
Die Methodik zum Replizieren von Modellen und zum Extrahieren von Wissen aus ihnen ist ein neues Werkzeug für die Wissenschaft. Modelle können als Werkzeug dienen, um neues Wissen zu gewinnen und zu testen, und jede Phase der Vorverarbeitung, des Trainings und der Anwendung des Modells muss reproduzierbar sein.
Ein erheblicher Teil der Veröffentlichungen widmet sich nicht der Konstruktion von Modellen und Werkzeugen, sondern den Problemen der Gewährleistung der Sicherheit, Transparenz und Überprüfbarkeit von Ergebnissen. Insbesondere ist ein separater Stream zu Angriffen auf das Modell (gegnerische Angriffe) erschienen, in dem Optionen sowohl für Angriffe auf das Training als auch für Angriffe auf die Anwendung berücksichtigt werden.
Artikel:
- — ein programmatischer Artikel über die Methodik der Modellverifizierung. Enthält einen Überblick über moderne Werkzeuge zur Interpretation von Modellen, insbesondere die Nutzung von Aufmerksamkeit und die Erlangung der Merkmalsbedeutung durch „Destillation“ des neuronalen Netzwerks mit linearen Modellen.
- Chaofan Chen, Oscar Li, Daniel Tao, Alina Barnett, Cynthia Rudin, Jonathan K. Su
- Sara Hooker, Dumitru Erhan, Pieter-Jan Kindermans, Been Kim
- Alexander Mott, Daniel Zoran, Mike Chrzanowski, Daan Wierstra, Danilo Jimenez Rezende
- Xiao Li, Yu Wang, Sumanta Basu, Karl Kumbier, Bin Yu
- Jaemin Yoo, Minyong Cho, Taebum Kim, U Kang
- Edward Raff
ExBert.net zeigt Modellinterpretation für Textverarbeitungsaufgaben
2. Multidisziplinarität
Um eine zuverlässige Verifizierung zu gewährleisten und Mechanismen zur Verifizierung und Erweiterung von Wissen zu entwickeln, benötigen wir Spezialisten in verwandten Bereichen, die gleichzeitig über Kompetenzen in ML und im Fachgebiet (Medizin, Linguistik, Neurobiologie, Pädagogik etc.) verfügen. Besonders hervorzuheben ist die stärkere Präsenz von Werken und Reden in den Neuro- und Kognitionswissenschaften – es kommt zu einer Annäherung von Spezialisten und der Übernahme von Ideen.
Neben dieser Annäherung entsteht Multidisziplinarität in der gemeinsamen Verarbeitung von Informationen aus verschiedenen Quellen: Text und Fotos, Text und Spiele, Graphendatenbanken + Text und Fotos.
Artikel:
- Neurowissenschaften + ML —
- VisualQA -
- RL + NLP -
Zwei Modelle – Stratege und Führungskraft – basierend auf RL und NLP spielen Online-Strategie
3. Argumentation
Die Stärkung der künstlichen Intelligenz ist eine Bewegung hin zu selbstlernenden, „bewussten“, schlussfolgernden und schlussfolgernden Systemen. Insbesondere entwickeln sich kausale Schlussfolgerungen und vernünftiges Denken. Einige der Berichte widmen sich dem Meta-Lernen (darum, wie man lernt, zu lernen) und der Kombination von DL-Technologien mit Logik erster und zweiter Ordnung – der Begriff Künstliche Allgemeine Intelligenz (AGI) wird in den Reden der Redner immer häufiger verwendet.
Artikel:
- Weijiang Yu, Jingwen Zhou, Weihao Yu, Xiaodan Liang, Nong Xiao
- Wang-Zhou Dai, Qiuling Xu, Yang Yu, Zhi-Hua Zhou
- Vaishak Belle, Brendan Juba
- Anton Bakhtin, Laurens van der Maaten, Justin Johnson, Laura Gustafson, Ross Girshick
- Dinesh Garg, Shajith Ikbal, Santosh K. Srivastava, Harit Vishwakarma, Hima Karanam, L Venkata Subramaniam
4. Verstärkungslernen
Der Großteil der Arbeit entwickelt weiterhin traditionelle Bereiche von RL – DOTA2, Starcraft, kombiniert Architekturen mit Computer Vision, NLP, Graphdatenbanken.
Ein separater Tag der Konferenz war einem RL-Workshop gewidmet, bei dem die Architektur des Optimistic Actor Critic Model vorgestellt wurde, die allen vorherigen überlegen ist, insbesondere dem Soft Actor Critic.
Artikel:
- ; Kamil Ciosek, Quan Vuong, Robert Loftin, Katja Hofmann
- ; Yasuhiro Fujita (Preferred Networks, Inc.)*; Toshiki Kataoka (Preferred Networks, Inc.); Prabhat Nagarajan (Bevorzugte Netzwerke); Takahiro Ishikawa (Universität Tokio) [externer PDF-Link].
- ; Danijar Hafner (Google)*; Timothy Lillicrap (DeepMind); Jimmy Ba (Universität Toronto); Mohammad Norouzi (Google Brain)
StarCraft-Spieler kämpfen gegen das Alphastar-Modell (DeepMind)
5.GAN
Generative Netzwerke stehen immer noch im Rampenlicht: Viele Arbeiten nutzen Vanilla-GANs für mathematische Beweise und wenden sie auch auf neue, ungewöhnliche Weise an (generative Graphenmodelle, Arbeiten mit Reihen, Anwendung auf Ursache-Wirkungs-Beziehungen in Daten usw.).
Artikel:
- Sangwoo Mo, Chiheon Kim, Sungwoong Kim, Minsu Cho, Jinwoo Shin
- Dan Zhang, Anna Khoreva
- Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, Kalyan Veeramachaneni
Da wurden weitere Arbeiten angenommen Im Folgenden werden wir über die wichtigsten Reden sprechen.
Eingeladene Vorträge
„Soziale Intelligenz“, Blaise Aguera y Arcas (Google)
Der Vortrag konzentriert sich auf die allgemeine Methodik des maschinellen Lernens und die Aussichten, die die Branche derzeit verändern – vor welchen Scheidewegen stehen wir? Wie funktionieren das Gehirn und die Evolution und warum nutzen wir so wenig das, was wir bereits über die Entwicklung natürlicher Systeme wissen?
Die industrielle Entwicklung von ML deckt sich weitgehend mit den Meilensteinen der Entwicklung von Google, das Jahr für Jahr seine Forschungsergebnisse zu NeurIPS veröffentlicht:
- 1997 – Einführung von Suchfunktionen, erste Server, kleine Rechenleistung
- 2010 – Jeff Dean startet das Google Brain-Projekt, der Boom neuronaler Netze ist der Anfang
- 2015 – industrielle Implementierung neuronaler Netze, schnelle Gesichtserkennung direkt auf einem lokalen Gerät, auf Tensor-Computing zugeschnittene Low-Level-Prozessoren – TPU. Google bringt Coral AI auf den Markt – ein Analogon von Raspberry Pi, einem Minicomputer zur Einführung neuronaler Netze in experimentelle Installationen
- 2017 – Google beginnt mit der Entwicklung eines dezentralen Trainings und der Kombination der Ergebnisse des neuronalen Netzwerktrainings verschiedener Geräte in einem Modell – auf Android
Heutzutage widmet sich eine ganze Branche der Datensicherheit, Aggregation und Replikation von Lernergebnissen auf lokalen Geräten.
– eine Richtung des ML, bei der einzelne Modelle unabhängig voneinander lernen und dann zu einem einzigen Modell zusammengefasst werden (ohne die Quelldaten zu zentralisieren), angepasst an seltene Ereignisse, Anomalien, Personalisierung usw. Alle Android-Geräte sind für Google im Wesentlichen ein einziger Computer-Supercomputer.
Generative Modelle, die auf föderiertem Lernen basieren, sind laut Google eine vielversprechende Zukunftsrichtung, die sich „in den frühen Stadien eines exponentiellen Wachstums“ befindet. GANs, so der Dozent, seien in der Lage, das Massenverhalten von Populationen lebender Organismen und Denkalgorithmen zu reproduzieren.
Am Beispiel zweier einfacher GAN-Architekturen wird gezeigt, dass bei ihnen die Suche nach einem Optimierungspfad im Kreis wandert, eine Optimierung als solche also nicht stattfindet. Gleichzeitig simulieren diese Modelle sehr erfolgreich die Experimente, die Biologen an Bakterienpopulationen durchführen, und zwingen diese, neue Verhaltensstrategien bei der Nahrungssuche zu erlernen. Wir können daraus schließen, dass das Leben anders funktioniert als die Optimierungsfunktion.
Walking GAN-Optimierung
Alles, was wir jetzt im Rahmen des maschinellen Lernens tun, sind enge und extrem formalisierte Aufgaben, während sich diese Formalismen nicht gut verallgemeinern lassen und nicht unserem Fachwissen in Bereichen wie Neurophysiologie und Biologie entsprechen.
Was sich in naher Zukunft wirklich lohnt, aus dem Bereich der Neurophysiologie zu leihen, sind neue Neuronenarchitekturen und eine leichte Überarbeitung der Mechanismen der Rückausbreitung von Fehlern.
Das menschliche Gehirn selbst lernt nicht wie ein neuronales Netzwerk:
- Er verfügt nicht über zufällige primäre Eingaben, auch nicht über solche, die über die Sinne und in der Kindheit vermittelt werden
- Ihm sind instinktive Entwicklungsrichtungen innewohnend (der Wunsch, von klein auf Sprache zu lernen, aufrechter Gang)
Das Training eines individuellen Gehirns ist eine einfache Aufgabe; vielleicht sollten wir „Kolonien“ von sich schnell verändernden Individuen in Betracht ziehen, die sich gegenseitig Wissen weitergeben, um die Mechanismen der Gruppenentwicklung zu reproduzieren.
Was wir jetzt in ML-Algorithmen übernehmen können:
- Anwenden von Zelllinienmodellen, die das Lernen der Bevölkerung, aber das kurze Leben des Individuums („individuelles Gehirn“) sicherstellen
- Few-Shot-Lernen anhand einer kleinen Anzahl von Beispielen
- Komplexere Neuronenstrukturen, leicht unterschiedliche Aktivierungsfunktionen
- Übertragung des „Genoms“ auf nächste Generationen – Backpropagation-Algorithmus
- Sobald wir Neurophysiologie und neuronale Netze verbinden, lernen wir, aus vielen Komponenten ein multifunktionales Gehirn aufzubauen.
Aus dieser Sicht ist die Praxis von SOTA-Lösungen schädlich und sollte im Sinne der Entwicklung gemeinsamer Aufgaben (Benchmarks) überarbeitet werden.
„Veridical Data Science“, Bin Yu (Berkeley)
Der Bericht widmet sich dem Problem der Interpretation von Modellen des maschinellen Lernens und der Methodik für deren direktes Testen und Verifizieren. Jedes trainierte ML-Modell kann als Wissensquelle betrachtet werden, die daraus extrahiert werden muss.
In vielen Bereichen, insbesondere in der Medizin, ist die Verwendung eines Modells unmöglich, ohne dieses verborgene Wissen zu extrahieren und die Ergebnisse des Modells zu interpretieren. Andernfalls können wir nicht sicher sein, dass die Ergebnisse stabil, nicht zufällig und zuverlässig sind und die Ergebnisse nicht zerstören geduldig. Eine ganze Richtung der Arbeitsmethodik entwickelt sich innerhalb des Deep-Learning-Paradigmas und geht über dessen Grenzen hinaus – die veridical Data Science. Was ist das?
Wir wollen eine solche Qualität wissenschaftlicher Veröffentlichungen und Reproduzierbarkeit von Modellen erreichen, dass sie:
- vorhersagbar
- berechenbar
- stabil
Diese drei Prinzipien bilden die Grundlage der neuen Methodik. Wie können ML-Modelle anhand dieser Kriterien überprüft werden? Der einfachste Weg besteht darin, sofort interpretierbare Modelle (Regressionen, Entscheidungsbäume) zu erstellen. Wir möchten jedoch auch die unmittelbaren Vorteile von Deep Learning nutzen.
Es gibt mehrere Möglichkeiten, mit dem Problem umzugehen:
- das Modell interpretieren;
- Verwenden Sie Methoden, die auf Aufmerksamkeit basieren.
- Verwenden Sie beim Training Ensembles von Algorithmen und stellen Sie sicher, dass linear interpretierbare Modelle lernen, die gleichen Antworten wie das neuronale Netzwerk vorherzusagen, indem sie Merkmale aus dem linearen Modell interpretieren.
- Trainingsdaten ändern und erweitern. Dazu gehört das Hinzufügen von Rauschen, Interferenzen und Datenerweiterung;
- alle Methoden, die dazu beitragen, sicherzustellen, dass die Ergebnisse des Modells nicht zufällig sind und nicht von geringfügigen unerwünschten Eingriffen (gegnerischen Angriffen) abhängen;
- Interpretieren Sie das Modell im Nachhinein, nach dem Training;
- Merkmalsgewichtungen auf verschiedene Weise studieren;
- Studieren Sie die Wahrscheinlichkeiten aller Hypothesen und die Klassenverteilung.
Gegnerischer Angriff
Modellierungsfehler sind für alle kostspielig: Ein Paradebeispiel ist die Arbeit von Reinhart und Rogov.“„ beeinflusste die Wirtschaftspolitik vieler europäischer Länder und zwang sie zu einer Sparpolitik, doch eine sorgfältige erneute Überprüfung der Daten und deren Verarbeitung Jahre später zeigte das gegenteilige Ergebnis!
Jede ML-Technologie hat ihren eigenen Lebenszyklus von Implementierung zu Implementierung. Das Ziel der neuen Methodik besteht darin, in jeder Lebensphase des Modells drei Grundprinzipien zu überprüfen.
Ergebnisse:
- Es werden mehrere Projekte entwickelt, die dazu beitragen sollen, das ML-Modell zuverlässiger zu machen. Das ist zum Beispiel deeptune (Link zu: );
- Für die Weiterentwicklung der Methodik ist es notwendig, die Qualität der Publikationen im Bereich ML deutlich zu verbessern;
- Maschinelles Lernen braucht Führungskräfte mit multidisziplinärer Ausbildung und Fachwissen sowohl im technischen als auch im geisteswissenschaftlichen Bereich.
„Modellierung menschlichen Verhaltens mit maschinellem Lernen: Chancen und Herausforderungen“ Nuria M. Oliver, Albert Ali Salah
Vorlesung über die Modellierung menschlichen Verhaltens, seine technologischen Grundlagen und Anwendungsperspektiven.
Die Modellierung menschlichen Verhaltens kann unterteilt werden in:
- individuelles Verhalten
- Verhalten einer kleinen Gruppe von Menschen
- Massenverhalten
Jeder dieser Typen kann mit ML modelliert werden, jedoch mit völlig unterschiedlichen Eingabeinformationen und Funktionen. Jeder Typ hat auch seine eigenen ethischen Probleme, die jedes Projekt durchläuft:
- individuelles Verhalten – Identitätsdiebstahl, Deepfake;
- Verhalten von Personengruppen – De-Anonymisierung, Informationsbeschaffung über Bewegungen, Telefonate etc.;
individuelles Verhalten
Meistens bezogen auf das Thema Computer Vision – Erkennung menschlicher Emotionen und Reaktionen. Vielleicht nur im Kontext, in der Zeit oder im relativen Ausmaß seiner eigenen Gefühlsvariabilität. Die Folie zeigt die Erkennung von Mona Lisas Emotionen anhand eines Kontexts aus dem emotionalen Spektrum mediterraner Frauen. Ergebnis: ein Lächeln der Freude, aber auch der Verachtung und des Ekels. Der Grund liegt höchstwahrscheinlich in der technischen Definition einer „neutralen“ Emotion.
Verhalten einer kleinen Gruppe von Menschen
Bisher ist das schlechteste Modell auf unzureichende Informationen zurückzuführen. Exemplarisch wurden Werke aus den Jahren 2018 – 2019 gezeigt. auf Dutzenden von Menschen X Dutzenden von Videos (vgl. 100k++ Bilddatensätze). Um diese Aufgabe bestmöglich zu modellieren, sind multimodale Informationen erforderlich, vorzugsweise von Sensoren eines Körperhöhenmessers, eines Thermometers, einer Mikrofonaufzeichnung usw.
Massenverhalten
Der am weitesten entwickelte Bereich, da der Kunde die Vereinten Nationen und viele Staaten sind. Außenüberwachungskameras, Daten von Telefontürmen – Abrechnungen, SMS, Anrufe, Daten zur Bewegung zwischen Staatsgrenzen – all dies liefert ein sehr zuverlässiges Bild der Bewegung von Menschen und sozialer Instabilitäten. Mögliche Einsatzmöglichkeiten der Technologie: Optimierung von Rettungseinsätzen, Hilfeleistung und rechtzeitige Evakuierung der Bevölkerung bei Notfällen. Die verwendeten Modelle sind größtenteils noch schlecht interpretiert – es handelt sich um verschiedene LSTMs und Faltungsnetzwerke. Es gab eine kurze Bemerkung, dass die Vereinten Nationen sich für ein neues Gesetz einsetzen, das europäische Unternehmen dazu verpflichten würde, anonymisierte Daten weiterzugeben, die für jegliche Forschung erforderlich sind.
„Von System 1 zu System 2 Deep Learning“, Yoshua Bengio
Im Vortrag von Joshua Bengio trifft Deep Learning auf der Ebene der Zielsetzung auf Neurowissenschaften.
Bengio identifiziert zwei Haupttypen von Problemen gemäß der Methodik des Nobelpreisträgers Daniel Kahneman (Buch „")
Typ 1 – System 1, unbewusste Handlungen, die wir „automatisch“ ausführen (altes Gehirn): Autofahren an vertrauten Orten, Gehen, Gesichter erkennen.
Typ 2 – System 2, bewusstes Handeln (Großhirnrinde), Zielsetzung, Analyse, Denken, zusammengesetzte Aufgaben.
Bisher hat die KI nur bei Aufgaben des ersten Typs ausreichende Höhen erreicht, während unsere Aufgabe darin besteht, sie auf den zweiten Typ zu bringen, indem wir ihr beibringen, multidisziplinäre Operationen durchzuführen und mit Logik und hohen kognitiven Fähigkeiten zu operieren.
Um dieses Ziel zu erreichen, wird vorgeschlagen:
- Nutzen Sie bei NLP-Aufgaben die Aufmerksamkeit als Schlüsselmechanismus zur Modellierung des Denkens
- Nutzen Sie Meta-Lernen und Repräsentationslernen, um Merkmale, die das Bewusstsein und deren Lokalisierung beeinflussen, besser zu modellieren – und gehen Sie auf dieser Grundlage zum Arbeiten mit übergeordneten Konzepten über.
Anstelle einer Schlussfolgerung hier ein eingeladener Vortrag: Bengio ist einer von vielen Wissenschaftlern, die versuchen, das Gebiet des ML über Optimierungsprobleme, SOTA und neue Architekturen hinaus zu erweitern.
Offen bleibt die Frage, inwieweit die Kombination aus Bewusstseinsproblemen, dem Einfluss der Sprache auf das Denken, der Neurobiologie und Algorithmen uns in Zukunft erwartet und uns den Übergang zu Maschinen ermöglichen wird, die wie Menschen „denken“.
Vielen Dank!
Source: habr.com