Ist die Blase des maschinellen Lernens geplatzt, oder ist es der Beginn einer neuen Dämmerung?

Kürzlich wurde Artikel, die eine gute Tendenz im Bereich des maschinellen Lernens der letzten Jahre zeigt. Kurz gesagt: Die Zahl der Startups im Bereich maschinelles Lernen ist in den letzten zwei Jahren stark zurückgegangen.

Nun, lassen Sie uns klären, "ob die Blase geplatzt ist", "wie es weitergeht" und darüber sprechen, woher diese Entwicklung überhaupt kommt.

Zunächst wollen wir darüber sprechen, was den Anstoß zu diesem Trend gegeben hat. Woher kommt er? Wahrscheinlich erinnern sich alle an den Sieg des maschinellen Lernens im Jahr 2012 beim ImageNet-Wettbewerb. Schließlich war das das erste globale Ereignis! Aber in Wirklichkeit ist das nicht ganz so. Und das Wachstum des Trends beginnt etwas früher. Ich würde ihn in mehrere Phasen unterteilen.

1. Im Jahr 2008 tauchte der Begriff "Big Data" auf. Echte Produkte begannen auftreten ab 2010. Big Data hängen direkt mit maschinellem Lernen zusammen. Ohne Big Data ist eine stabile Funktionalität der Algorithmen, die zu diesem Zeitpunkt existierten, unmöglich. Und das sind nicht die neuronalen Netze. Bis 2012 waren neuronale Netze das Reich einer marginalen Minderheit. Aber zu diesem Zeitpunkt begannen völlig andere Algorithmen zu arbeiten, die bereits seit Jahren, wenn nicht Jahrzehnten existierten: SVM(1963, 1993), Random Forest (1995), AdaBoost (2003), … Die Startups dieser Jahre waren in erster Linie mit der automatischen Verarbeitung strukturierter Daten verbunden: Kassen, Benutzer, Werbung, vieles mehr.

   Die Folge dieser ersten Welle ist eine Reihe von Frameworks wie XGBoost, CatBoost, LightGBM usw.

2. In den Jahren 2011-2012 gewannen Convolutional Neural Networks eine Reihe von Wettbewerben zur Bilderkennung. Ihre tatsächliche Nutzung verzögerte sich etwas. Ich würde sagen, dass massenhaft durchdachte Startups und Lösungen ab 2014 zu erscheinen begannen. Es brauchte zwei Jahre, um zu verarbeiten, dass neuronale Netze tatsächlich funktionieren, benutzerfreundliche Frameworks zu entwickeln, die man aufsetzen und in angemessener Zeit starten konnte, sowie Methoden zu entwickeln, die die Stabilität und Geschwindigkeit des Konvergenzprozesses verbessern. Convolutional Networks ermöglichten die Lösung von Computer Vision-Aufgaben: Klassifizierung von Bildern und Objekten auf Bildern, Objekt-Detektion, Erkennung von Objekten und Menschen, Bildverbesserung usw.

   , etc.

3. 2015-2017 Jahre. Boom der Algorithmen und Projekte, die auf rekurrenten Netzen oder deren Analogien basieren (LSTM, GRU, TransformerNet usw.). Es entstanden leistungsfähige Algorithmen für "Sprache-zu-Text", maschinelle Übersetzungssysteme. Teilweise basierend auf Faltungsnetzen zur Erkennung grundlegender Merkmale. Teilweise darauf, dass wir gelernt haben, wirklich große und qualitativ hochwertige Datensätze zu erstellen.

„Ist die Blase geplatzt? Ist der Hype überhitzt? Sind sie tot wie Blockchain?"
Natürlich! Morgen wird Siri auf Ihrem Telefon nicht mehr funktionieren, und übermorgen wird Tesla einen Abbiegevorgang nicht von einem Känguru unterscheiden können.

Neuronale Netze funktionieren bereits. Sie sind in Dutzenden von Geräten. Sie ermöglichen es tatsächlich, Geld zu verdienen, verändern den Markt und die Umgebung. Der Hype sieht etwas anders aus:

Einfach gesagt, neuronale Netze sind nicht mehr neu. Ja, viele Menschen haben überhöhte Erwartungen. Aber eine große Anzahl von Unternehmen hat gelernt, neuronale Netze anzuwenden und Produkte darauf basierend zu entwickeln. Neuronale Netze bieten neue Funktionen, ermöglichen es, Arbeitsplätze abzubauen und die Kosten für Dienstleistungen zu senken:

• Fertigungsunternehmen integrieren Algorithmen zur Analyse von Mängeln in der Produktion.
• Landwirtschaftliche Betriebe kaufen Systeme zur Überwachung von Kühen.
• Automatische Erntemaschinen.
• Automatisierte Callcenter.
• Filter in SnapChat. (Na, immerhin etwas Nützliches!)

Aber das Wichtigste, und nicht das Offensichtlichste: „Es gibt keine neuen Ideen mehr oder sie bringen kein sofortiges Kapital“. Neuronale Netze haben Dutzende von Problemen gelöst. Und sie werden noch mehr lösen. Alle offensichtlichen Ideen haben zahlreiche Start-ups hervorgebracht. Aber alles, was auf der Oberfläche war, wurde bereits gesammelt. In den letzten zwei Jahren habe ich keine neue Idee zur Anwendung von neuronalen Netzen gesehen. Kein neuer Ansatz (nun, okay, da gibt es ein paar Probleme mit GANs).

Und jedes nächste Start-up wird immer komplexer. Es erfordert nicht mehr zwei Leute, die ein neuronales Netz mit offenen Daten trainieren. Es benötigt Programmierer, Server, ein Team von Annotatoren, komplizierten Support usw.

Das Ergebnis ist, dass es weniger Start-ups gibt. Aber mehr Produktionen. Möchten Sie eine Nummernschilderkennung hinzufügen? Auf dem Markt gibt es Hunderte von Spezialisten mit relevantem Wissen. Sie können jemanden anheuern und in ein paar Monaten wird Ihr Mitarbeiter ein System erstellen. Oder Sie kaufen eine Lösung. Aber ein neues Start-up gründen? Wahnsinn!

Es ist notwendig, ein System zur Besucherverfolgung zu erstellen – warum für eine Vielzahl von Lizenzen bezahlen, wenn man in 3-4 Monaten ein eigenes, auf das eigene Geschäft zugeschnittenes System erstellen kann?

Derzeit durchlaufen neuronale Netze denselben Entwicklungsprozess wie zahlreiche andere Technologien.

Erinnern Sie sich, wie sich seit 1995 das Konzept des „Webentwicklers“ verändert hat? Solange der Markt nicht mit Fachleuten übersättigt ist. Es gibt sehr wenige Profis. Aber ich könnte wetten, dass es in 5-10 Jahren keinen großen Unterschied zwischen einem Java-Programmierer und einem Entwickler von neuronalen Netzen geben wird. Beide Spezialitäten werden auf dem Markt ausreichend vertreten sein.

Es wird einfach eine Klassen von Aufgaben geben, für die neuronale Netze eingesetzt werden. Wenn eine Aufgabe entsteht, engagieren Sie einen Spezialisten.

„Und was kommt als Nächstes? Wo ist die versprochene künstliche Intelligenz?“

Hier gibt es eine kleine, aber interessante Unklarheit:)

Der Technologiestack, den wir heute haben, wird uns anscheinend nicht zur künstlichen Intelligenz führen. Die Ideen und deren Neuheit sind in vielerlei Hinsicht erschöpft. Lassen Sie uns darüber sprechen, was das aktuelle Entwicklungsniveau aufrechterhält.

Einschränkungen

Fangen wir mit autonomen Fahrzeugen an. Es scheint klar zu sein, dass es mit der heutigen Technologie möglich ist, vollständig autonome Autos zu erstellen. Aber in wie vielen Jahren wird das geschehen – das ist unklar. Tesla glaubt, dass das in ein paar Jahren passieren wird –

Es gibt viele andere Spezialisten, die dies auf 5-10 Jahre schätzen.

Meiner Meinung nach wird sich die Infrastruktur der Städte in etwa 15 Jahren so verändern, dass das Erscheinen autonomer Fahrzeuge unvermeidlich werden wird, es wird eine Fortsetzung davon sein. Aber das kann man nicht als Intelligenz betrachten. Das moderne Tesla ist eine sehr komplexe Förderanlage zur Datenfilterung, ihrer Suche und Neuausbildung. Es dreht sich alles um Regeln-Regeln-Regeln, das Sammeln von Daten und deren Filterung (hier hier habe ich das etwas ausführlicher beschrieben, oder schauen Sie sich die dieser Markierung an).

Das erste Problem

Und genau hier sehen wir das erste fundamentale Problem. Big Data. Das ist genau das, was die aktuelle Welle der neuronalen Netze und des maschinellen Lernens hervorgerufen hat. Um heutzutage etwas Kompliziertes und Automatisiertes zu machen, benötigt man viele Daten. Nicht nur viele, sondern sehr, sehr viele. Es sind automatisierte Algorithmen für die Sammlung, Kennzeichnung und Nutzung erforderlich. Möchten wir, dass die Maschine Lastwagen vor der Sonne sieht – müssen wir zunächst genügend von ihnen sammeln. Möchten wir, dass die Maschine nicht verrückt wird von einem Fahrrad, das am Gepäckträger befestigt ist – benötigen wir mehr Muster.

Und ein Beispiel reicht nicht aus. Hunderte? Tausende?

Das zweite Problem

Das zweite Problem – die Visualisierung dessen, was unser neuronales Netz verstanden hat. Das ist eine sehr komplexe Aufgabe. Bisher versteht nur sehr wenig Leute, wie man das visualisieren kann. Diese Artikel sind ziemlich frisch, das sind nur einige Beispiele, auch wenn sie entfernt sind:
Visualisierung Fokussierung auf Texturen. Zeigt gut, worauf das Netzwerk tendiert, sich zu konzentrieren + was es als Ausgangsinformation wahrnimmt.

Visualisierung Aufmerksamkeit bei Übersetzungen. Tatsächlich kann Aufmerksamkeit oft genutzt werden, um zu zeigen, was die Reaktion des Netzwerks ausgelöst hat. Ich habe solche Dinge sowohl für Debugging als auch für Produktlösungen gesehen. Es gibt zu diesem Thema eine Menge Artikel. Aber je komplizierter die Daten, desto schwieriger ist es, eine konsistente Visualisierung zu erreichen.

Und ja, das alte bewährte Set von „schau, was im Netzwerk in Filternvor sich geht“. Diese Bilder waren vor 3-4 Jahren populär, aber alle haben schnell verstanden, dass die Bilder zwar schön sind, aber nicht viel Sinn ergeben.

Ich habe keine Dutzende anderer Tricks, Methoden, Hacks, Forschungen erwähnt, wie man die Inneren des Netzwerks darstellen kann. Funktionieren diese Werkzeuge? Helfen sie, schnell zu verstehen, wo das Problem liegt und das Netzwerk zu debuggen? .. Die letzten Prozente herauszuholen? Nun, ungefähr so:

Sie können jeden Wettbewerb auf Kaggle anschauen. Und die Beschreibung, wie die Leute die endgültigen Lösungen erstellen. Wir haben 100-500-800 Millionen Modelle zusammengebaut und es hat funktioniert!

Ich übertreibe natürlich. Aber schnelle und direkte Antworten liefern diese Ansätze nicht.

Mit genügend Erfahrung kann man durch Ausprobieren verschiedener Optionen ein Urteil darüber fällen, warum Ihr System eine bestimmte Entscheidung getroffen hat. Aber das Verhalten des Systems zu ändern wird schwierig sein. Einen Workaround aufsetzen, die Schwelle verschieben, einen zusätzlichen Datensatz hinzufügen, ein anderes Backend-Netz verwenden.

Das dritte Problem

Das dritte fundamentale Problem — Netzwerke lernen nicht Logik, sondern Statistik. Statistisch ist das Gesicht:

Logisch gesehen — sieht das nicht sehr ähnlich aus. Neuronale Netzwerke lernen nichts Komplexes, wenn sie nicht dazu gezwungen werden. Sie lernen immer die einfachsten Merkmale. Gibt es Augen, eine Nase, einen Kopf? Dann ist das ein Gesicht! Oder bringe ein Beispiel, wo Augen nicht ein Gesicht bedeuten. Und wieder — Millionen von Beispielen.

Es gibt genug Platz am Boden

Ich würde sagen, dass genau diese drei globalen Probleme heutzutage die Entwicklung neuronaler Netzwerke und des maschinellen Lernens einschränken. Wo diese Probleme nicht einschränkten, wird bereits aktiv genutzt.

Ist das das Ende? Sind neuronale Netzwerke stehen geblieben?

Unbekannt. Aber natürlich hoffen alle, dass dem nicht so ist.

Es gibt viele Ansätze und Richtungen zur Lösung der oben angesprochenen grundlegenden Probleme. Aber bisher hat keiner dieser Ansätze es erlaubt, etwas Fundamentales Neues zu schaffen, etwas zu lösen, was bis jetzt ungelöst blieb. Bis jetzt werden alle grundlegenden Projekte auf der Basis stabiler Ansätze (Tesla) oder als Testprojekte von Instituten oder Unternehmen (Google Brain, OpenAI) durchgeführt.

Grob gesagt, besteht die Hauptrichtung darin, eine Art hochrangige Repräsentation von Eingabedaten zu schaffen. Eine Art von "Gedächtnis". Das einfachste Beispiel für Gedächtnis sind verschiedene "Embeddings" — Darstellungen von Bildern. Nehmen wir zum Beispiel alle Systeme zur Gesichtserkennung. Das Netzwerk lernt, aus einem Gesicht eine stabile Repräsentation zu erhalten, die nicht von Drehung, Beleuchtung oder Auflösung abhängt. Im Wesentlichen minimiert das Netzwerk die Metrik "verschiedene Gesichter — weit weg" und "gleiche — nah zusammen".

Für ein solches Lernen sind Zehntausende und Hunderttausende von Beispielen erforderlich. Aber das Ergebnis trägt einige Anzeichen von "One-Shot Learning". Nun brauchen wir keine Hunderte von Gesichtern, um eine Person zu erkennen. Nur ein Gesicht, und schon — wir erkennen!
Das Problem ist nur… Das Netzwerk kann nur relativ einfache Objekte lernen. Wenn es darum geht, nicht Gesichter, sondern beispielsweise „Menschen nach Kleidung“ zu unterscheiden (Aufgabe Re-Identifikation) — fällt die Qualität um viele Größenordnungen. Und das Netzwerk kann bereits nicht wirklich offensichtliche Änderungen des Blickwinkels lernen.

Und auf Millionen von Beispielen zu lernen — ist auch irgendwie nicht das beste Vergnügen.

Es gibt Arbeiten zur erheblichen Reduzierung der Auswahl. Zum Beispiel kann ich an eines der ersten Arbeiten über One-Shot Learning von Google erinnern:

Es gibt viele solcher Arbeiten, zum Beispiel 1 oder 2 oder 3.

Ein Nachteil ist, dass das Training normalerweise gut bei einfachen, „MNIST-artigen Beispielen“ funktioniert. Wenn es jedoch zu komplexeren Aufgaben kommt, benötigt man eine große Datenbasis, ein Modell von Objekten oder eine Art Magie.
Die Arbeit im Bereich des One-Shot-Lernens ist ein sehr interessantes Thema. Man findet viele Ideen. Aber die beiden Probleme, die ich erwähnt habe (Vortraining auf einem riesigen Datensatz / Instabilität bei komplexen Daten), behindern das Lernen erheblich.

Andererseits sind GANs – generative gegnerische Netzwerke – ein passender Ansatz für das Thema Embedding. Sie haben sicherlich viele Artikel zu diesem Thema auf Habré gelesen. (1, 2,3)
Eine Besonderheit von GANs ist die Bildung eines bestimmten inneren Zustandsraums (im Grunde dasselbe wie Embedding), der es ermöglicht, ein Bild zu zeichnen. Das können sein Gesichter, es können über Daten. Das kann eine arithmetische Operation, eine logische Operation oder eine beliebige andere Operation sein, die uns einfällt. Das Hauptsache ist, dass der Knoten einen Eingang und einen Ausgang hat..

Die Herausforderung bei GANs ist, je komplexer das generierte Objekt, desto schwieriger ist es, es in der Logik "Generator-Diskriminator" zu beschreiben. In der Tat ist der einzige real bekannte Anwendungsfall von GANs, der im Gedächtnis bleibt, DeepFake, der wiederum mit der Darstellung von Gesichtern spielt (für die es eine riesige Datenbasis gibt).

Ich habe sehr wenige andere nützliche Anwendungen gesehen. Normalerweise handelt es sich um irgendwelche Spielereien mit dem Nachzeichnen von Bildern.

Und nochmals. Niemand hat ein Verständnis dafür, wie uns das in eine strahlende Zukunft führen kann. Die Darstellung von Logik/Raum in einem neuronalen Netzwerk ist gut. Aber man benötigt eine riesige Anzahl von Beispielen, und wir verstehen nicht, wie das neuronale Netzwerk sich das vorstellt, wir verstehen nicht, wie man das neuronale Netzwerk dazu bringt, irgendeine wirklich komplexe Vorstellung zu speichern.

Reinforcement Learning ist ein ganz anderer Ansatz. Sicherlich erinnern Sie sich, wie Google alle im Go geschlagen hat. Kürzliche Siege in Starcraft und Dota. Aber hier sieht es nicht so rosig und vielversprechend aus. Am besten beschreibt diesen Artikel.

kürzest zusammengefasst, was der Autor geschrieben hat:

• Standardmodelle funktionieren in den meisten Fällen nicht oder schlecht.
• Praktische Aufgaben lassen sich einfacher mit anderen Methoden lösen. Boston Dynamics nutzt kein RL wegen seiner Komplexität/Unvorhersehbarkeit/Computationsaufwand.
• Damit RL funktioniert, ist eine komplexe Funktion erforderlich. Oft ist es schwierig, sie zu erstellen/zu schreiben.
• Das Trainieren von Modellen ist schwierig. Man muss eine Menge Zeit aufwenden, um sie anzupassen und aus lokalen Optima herauszuführen.
• Folglich ist es schwierig, das Modell zu reproduzieren, und die Modellstabilität ist bei geringsten Änderungen instabil.
• Oftens überfitted auf irgendwelche willkürlichen Muster, bis hin zu einem Zufallszahlengenerator.

Der Schlüsselpunkt ist, dass RL bisher nicht in der Produktion funktioniert. Google hat ein paar Experimente ( 1, 2 ). Aber ich habe noch kein einziges Produkt-System gesehen.

Speicher. Ein Nachteil all dessen, was oben beschrieben wurde, ist die Unstrukturiertheit. Einer der Ansätze, wie man das alles zu bändigen versucht, besteht darin, das neuronale Netzwerk Zugang zu einem separaten Speicher zu gewähren. So kann es die Ergebnisse seiner Schritte dort speichern und überschreiben. Dann kann das neuronale Netzwerk durch den aktuellen Zustand des Speichers definiert werden. Das ähnelt sehr klassischen Prozessoren und Computern.

Das bekannteste und populärste Artikel — von DeepMind:

Es scheint, als wäre dies der Schlüssel zum Verständnis von Intelligenz? Aber eher nicht. Das System benötigt trotzdem einen riesigen Datenbestand für das Training. Es arbeitet hauptsächlich mit strukturierten Tabellendaten. Dabei hat Facebook, als es eine ähnliche Problematik gelöst hat, den Weg gewählt: ‚Vergiss den Speicher, lass uns das neuronale Netzwerk einfach komplexer machen und mehr Beispiele geben — dann lernt es von selbst.‘ Disentanglement

. Ein anderer Ansatz, um signifikanten Speicher zu schaffen, besteht darin, dieselben Embeddings zu verwenden, aber während des Trainings zusätzliche Kriterien einzuführen, die es ermöglichen, darin ‚Bedeutungen‘ zu identifizieren. Zum Beispiel wollen wir ein neuronales Netzwerk trainieren, das das Verhalten von Menschen im Geschäft unterscheidet. Wenn wir den Standardweg gegangen wären, hätten wir ein Dutzend Netzwerke erstellen müssen. Eins sucht nach Menschen, das andere bestimmt, was sie tun, das dritte ihr Alter, das vierte — Geschlecht. Eine separate Logik betrachtet den Teil des Geschäfts, wo sie sich aufhalten/lernen. Das dritte bestimmt ihren Verlauf und so weiter.Oder wenn es unbegrenzt viele Daten gäbe, könnte man ein Netzwerk auf alle möglichen Ergebnisse trainieren (es ist offensichtlich, dass solch ein Datenbestand nicht gesammelt werden kann).

Der Ansatz des Disentanglement sagt uns — lass uns das Netzwerk so trainieren, dass es selbst Konzepte unterscheiden kann. Damit es durch Videos ein Embedding bildet, wo ein Bereich die Handlung bestimmt, ein anderer die Position auf dem Boden im Zeitverlauf, einer die Körpergröße und ein anderer — Geschlecht. Dabei wäre es wünschenswert, das Netzwerk während des Trainings kaum auf solche Schlüsselkonzepte hinzuweisen, sondern damit es selbst Bereiche hervorhebt und gruppiert. Solcher Artikel gibt es ziemlich wenige (einige davon

) und insgesamt sind sie ziemlich theoretisch. 1, 2, 3) und insgesamt sind sie ziemlich theoretisch.

Aber diese Richtung sollte theoretisch die anfangs genannten Probleme lösen.

Zerlegung eines Bildes nach den Parametern 'Farbe der Wände/Farbe des Bodens/Form des Objekts/Farbe des Objekts/usw.'

Zerlegung eines Gesichts nach den Parametern 'Größe, Augenbrauen, Orientierung, Hautfarbe, usw.'

Sonstiges

Es gibt viele andere nicht so globale Richtungen, die es ermöglichen, Datenbanken irgendwie zu reduzieren, mit heterogenen Daten zu arbeiten usw.

Aufmerksamkeit. Wahrscheinlich hat es wenig Sinn, dies als separate Methode hervorzuheben. Einfacher Ansatz, der andere verstärkt. Es gibt viele Artikel darüber (1,2,3). Der Sinn von Aufmerksamkeit besteht darin, die Reaktion des Netzwerks auf bedeutende Objekte beim Training zu verstärken. Oft durch äußere Zielanweisungen oder ein kleines externes Netzwerk.

3D-Simulation. Wenn man einen guten 3D-Engine entwickelt, kann man oft 90 % der Trainingsdaten abdecken (ich habe sogar ein Beispiel gesehen, wo fast 99 % der Daten durch einen guten Engine abgedeckt wurden). Es gibt viele Ideen und Hacks, wie man ein auf 3D-Engine trainiertes Netzwerk dazu bringen kann, mit realen Daten zu arbeiten (Feinabstimmung, Stilübertragung usw.). Aber oft ist es viel komplizierter, einen guten Engine zu erstellen, als Daten zu sammeln. Beispiele, als Engines erstellt wurden:
Robotertraining (google, braingarden)
Schulungen Synthese Produkte im Geschäft (aber in den beiden Projekten, die wir gemacht haben – wir konnten dies problemlos umgehen).
Training bei Tesla (wieder das Video, das oben war).

Das DBMS Tarantool ist ein attraktives, zukunftsträchtiges Produkt zur Erstellung von hochbelasteten Anwendungen.

Der ganze Artikel ist in gewisser Weise eine Schlussfolgerung. Wahrscheinlich ist die Hauptbotschaft, die ich kommunizieren wollte – 'Die Zeit der einfachen Lösungen in der Neuronalen Netzwerke ist vorbei'. Jetzt muss man hart arbeiten, um komplexe Lösungen zu schaffen. Oder hart arbeiten, indem man komplexe wissenschaftliche Forschungen durchführt.

Das Thema ist übrigens diskussionswürdig. Vielleicht haben die Leser interessantere Beispiele?

Quelle: habr.com