Hat die Blase des maschinellen Lernens geplatzt oder ist es der Beginn eines neuen Zeitalters?

Kürzlich wurde Artikel, die die Trends im maschinellen Lernen der letzten Jahre gut aufzeigt. Kurz gesagt: Die Anzahl der Startups im Bereich des maschinellen Lernens ist in den letzten zwei Jahren stark zurückgegangen.

Nun, schauen wir uns an, ob 'die Blase geplatzt ist', 'wie es weitergeht' und reden wir darüber, woher dieser Umstand eigentlich kommt.

Zunächst wollen wir darüber sprechen, was diesen Rückgang ausgelöst hat. Woher kommt er? Vielleicht erinnern sich viele an den Sieg des maschinellen Lernens im Jahr 2012 beim Wettbewerb ImageNet. Das war schließlich ein globales Ereignis! In Wirklichkeit ist das jedoch nicht der einzige Grund. Und der Anstieg begann schon etwas früher. Ich würde ihn in mehrere Punkte unterteilen.

1. Das Jahr 2008 brachte den Begriff „Big Data“. Reale Produkte begannen Probleme auftreten, ab 2010. Big Data sind eng mit dem maschinellen Lernen verbunden. Ohne Big Data ist ein stabiler Betrieb der Algorithmen, die zu diesem Zeitpunkt existierten, nicht möglich. Und das sind nicht die neuronalen Netze. Bis 2012 waren neuronale Netze das Metier einer marginalisierten Minderheit. Stattdessen begannen andere Algorithmen zu arbeiten, die schon seit Jahren oder sogar Jahrzehnten existierten: SVM(1963, 1993), Random Forest (1995), AdaBoost (2003), … Die Startups dieser Zeit beschäftigten sich vor allem mit der automatischen Verarbeitung strukturierter Daten: Kassen, Benutzer, Werbung und vieles mehr.

   Die Nachfolge dieser ersten Welle ist eine Sammlung von Frameworks wie XGBoost, CatBoost, LightGBM usw.

2. In den Jahren 2011-2012 konvolutionale neuronale Netze gewannen mehrere Wettbewerbe zur Bilderkennung. Ihre tatsächliche Anwendung ließ jedoch etwas auf sich warten. Ich würde sagen, dass wirklich durchdachte Startups und Lösungen ab 2014 aufkamen. Es dauerte zwei Jahre, um zu erkennen, dass neuronale Netze tatsächlich funktionieren, um benutzerfreundliche Frameworks zu entwickeln, die man in angemessener Zeit installieren und starten kann, sowie Methoden zu entwickeln, die die Konvergenzzeiten stabilisieren und beschleunigen.

   Konvolutionale Netze ermöglichten die Lösung von Aufgaben des maschinellen Sehens: Klassifizierung von Bildern und Objekten in Bildern, Objekterkennung, Erkennung von Objekten und Personen, Bildverbesserung usw.

3. 2015-2017. Ein Aufschwung von Algorithmen und Projekten, die auf rekurrenten Netzwerken oder deren Entsprechungen (LSTM, GRU, TransformerNet usw.) basieren. Es tauchten leistungsfähige Algorithmen für "Sprache-zu-Text" und maschinelle Übersetzung auf. Teilweise basieren sie auf Convolutional Networks zur Extraktion grundlegender Merkmale und teilweise darauf, dass man gelernt hat, wirklich große und hochwertige Datensätze zu erstellen.

"Ist die Blase geplatzt? Ist der Hype überhitzt? Sind sie gestorben wie Blockchain?"
Ganz bestimmt! Morgen wird Siri auf Ihrem Telefon nicht mehr funktionieren, und übermorgen wird Tesla einen Linksabbieger nicht von einem Känguru unterscheiden können.

Neuronale Netzwerke arbeiten bereits. Sie sind in Dutzenden von Geräten integriert. Sie ermöglichen tatsächlich Einnahmen, verändern den Markt und die umgebende Welt. Der Hype sieht etwas anders aus:

Neuronale Netzwerke sind nichts Neues mehr. Ja, viele Menschen haben überzogene Erwartungen. Aber eine große Anzahl an Unternehmen hat gelernt, Neuronale Netzwerke anzuwenden und Produkte auf ihrer Basis zu entwickeln. Neuronale Netzwerke bieten neue Funktionen, ermöglichen die Reduzierung von Arbeitsplätzen und senken die Kosten für Dienstleistungen:

• Produzierende Unternehmen integrieren Algorithmen zur Analyse von Fehlern in der Produktion.
• Tierhaltungsbetriebe erwerben Systeme zur Überwachung von Kühen.
• Automatische Combine.
• Automatisierte Call-Center.
• Filter in SnapChat. (nun, wenigstens etwas Sinnvolles!)

Aber das Wichtigste, und das nicht offensichtlichste: "Es gibt keine neuen Ideen mehr, oder sie bringen nicht sofort Kapital." Neuronale Netze haben Dutzende von Problemen gelöst. Und sie werden noch mehr lösen. Alle offensichtlichen Ideen, die es gab, haben viele Startups hervorgebracht. Aber alles, was an der Oberfläche war, wurde bereits aufgegriffen. In den letzten zwei Jahren habe ich keine neue Idee für den Einsatz von neuronalen Netzen gesehen. Keinen neuen Ansatz (ok, es gibt ein paar Probleme mit GANs).

Jedes nächste Startup wird immer komplexer. Es benötigt nicht mehr nur zwei Personen, die das neuronale Netz mit offenen Daten trainieren. Es benötigt Programmierer, Server, ein Team von Annotatoren, komplexe Unterstützung usw.

Die Folge ist — es gibt weniger Startups. Aber die Produktion nimmt zu. Müssen Sie die Erkennung von Fahrzeugkennzeichen hinzufügen? Auf dem Markt gibt es Hunderte von Fachleuten mit relevanter Erfahrung. Man kann jemanden einstellen, und in ein paar Monaten wird Ihr Mitarbeiter das System erstellen. Oder eine fertige Lösung kaufen. Aber ein neues Startup gründen?.. Wahnsinn!

Ein Besucherverfolgungssystem ist notwendig – warum für zahlreiche Lizenzen zahlen, wenn Sie in 3-4 Monaten Ihr eigenes aufbauen können, das speziell auf Ihr Geschäft zugeschnitten ist?

Aktuell durchlaufen neuronale Netzwerke denselben Entwicklungsprozess, den viele andere Technologien bereits durchlebt haben.

Erinnern Sie sich daran, wie sich der Begriff „Webentwickler“ seit 1995 verändert hat? Der Markt ist noch nicht mit Fachleuten überflutet. Es gibt sehr wenige Profis. Doch ich würde wetten, dass es in 5-10 Jahren kaum einen Unterschied zwischen einem Java-Programmierer und einem Entwickler von neuronalen Netzwerken geben wird. Beide Spezialisten werden auf dem Markt ausreichend vorhanden sein.

Es wird einfach eine Klasse von Aufgaben geben, für die neuronale Netzwerke eingesetzt werden. Steht eine Aufgabe an – beauftragen Sie einen Spezialisten.

„Und was kommt danach? Wo bleibt die versprochene künstliche Intelligenz?“

Hier gibt es eine kleine, aber interessante Unklarheit :)

Der Technologiestack, den wir heute besitzen, wird uns anscheinend doch nicht zur künstlichen Intelligenz führen. Die Ideen und ihre Neuheit haben sich zum großen Teil erschöpft. Lassen Sie uns darüber sprechen, was den aktuellen Entwicklungsstand aufrechterhält.

Einschränkungen

Lassen Sie uns mit autonom fahrenden Fahrzeugen beginnen. Es scheint klar zu sein, dass es mit der heutigen Technologie möglich ist, vollständig autonome Autos zu entwickeln. Aber es bleibt unklar, in wie vielen Jahren das geschehen wird. Tesla glaubt, dass es in ein paar Jahren so weit sein wird —

Es gibt viele andere Fachleute, die dies auf einen Zeitraum von 5-10 Jahren schätzen.

Meiner Ansicht nach wird sich die Infrastruktur der Städte in etwa 15 Jahren so entwickeln, dass das Auftauchen autonomer Fahrzeuge unvermeidlich wird und ihr Teil davon wird. Allerdings kann man das nicht als Intelligenz betrachten. Das moderne Tesla-System ist eine sehr komplexe Datenfilterungs- und Suchmaschine, die sich ständig anpasst. Es basiert auf Regeln, Regeln, Regeln, Datensammlung und deren Filterung (hier hier habe ich etwas detaillierter darüber geschrieben, oder schauen Sie sich die dieser Markierungen an).

Das erste Problem

Und hier erkennen wir das erste fundamentale Problem. Große Daten. Das ist genau das, was die aktuelle Welle von neuronalen Netzen und maschinellem Lernen hervorgebracht hat. Um heutzutage etwas Komplexes und Automatisiertes zu erreichen, benötigt man eine Menge Daten. Nicht einfach viel, sondern sehr, sehr viel. Es sind automatisierte Algorithmen zur Sammlung, Kennzeichnung und Nutzung nötig. Wenn wir möchten, dass die Maschine Lastwagen gegen die Sonne erkennt - müssen wir zuerst eine ausreichende Anzahl davon sammeln. Wenn wir wollen, dass die Maschine nicht verrückt wird, weil ein Fahrrad am Gepäckträger befestigt ist - benötigen wir mehr Proben.

Dabei reicht ein Beispiel nicht aus. Hunderte? Tausende?

Das zweite Problem

Das zweite Problem ist die Visualisierung dessen, was unser neuronales Netzwerk verstanden hat. Dies ist eine sehr komplexe Aufgabe. Bis heute versteht kaum jemand, wie man das visualisieren kann. Diese Artikel sind recht neu und bieten nur einige Beispiele, auch wenn sie entfernt sind:
Visualisierung Zyklisch auf Texturen. Es zeigt gut, worauf das neuronale Netzwerk tendiert, sich zu fokussieren + was es als Ausgangsinformation wahrnimmt.

Visualisierung Aufmerksamkeit bei Übersetzungen. Tatsächlich kann Attention oft verwendet werden, um zu zeigen, was die Netzreaktion verursacht hat. Ich habe solche Tools sowohl für Debugging als auch für Produktlösungen gesehen. Zu diesem Thema gibt es viele Artikel. Aber je komplexer die Daten sind, desto schwieriger ist es, eine konsistente Visualisierung zu erreichen.

Und ja, der alte gute Satz von „Schau, was im Netzwerk drin ist“ in den Filtern. Diese Bilder waren vor 3-4 Jahren populär, aber jeder hat schnell erkannt, dass die Bilder zwar schön sind, aber wenig Sinn ergeben.

Ich habe dutzende anderer Hacks, Methoden und Studien nicht erwähnt, wie man die Inneren des Netzwerks darstellt. Funktionieren diese Tools? Helfen sie, das Problem schnell zu verstehen und das Netzwerk zu debuggen? ... Um die letzten Prozente herauszuziehen? Nun, etwa so:

Sie können sich jeden Wettbewerb auf Kaggle ansehen. Und die Beschreibung, wie die Leute die finalen Lösungen erstellen. Wir haben 100-500-800 Millionen Modelle aufgebaut, und es hat funktioniert!

Natürlich übertreibe ich. Aber schnelle und direkte Antworten geben diese Ansätze nicht.

Mit ausreichend Erfahrung und verschiedenen Ansätzen kann man zu einem Urteil kommen, warum Ihr System so entschieden hat. Es wird jedoch schwierig sein, das Verhalten des Systems zu korrigieren. Ein Workaround könnte sein, die Schwelle zu verschieben, einen Datensatz hinzuzufügen oder ein anderes Backend-Netzwerk zu wählen.

Das dritte Problem

Das dritte fundamentale Problem — Netze lernen nicht Logik, sondern Statistik. Statistisch gesehen ist das ein Gesicht:

Logisch betrachtet sieht das nicht sehr ähnlich aus. Neuronale Netze lernen nichts Komplexes, es sei denn, sie werden dazu gezwungen. Sie lernen immer die einfachsten Merkmale. Gibt es Augen, eine Nase, einen Kopf? Dann ist es ein Gesicht! Oder bringen Sie ein Beispiel, bei dem Augen nicht ein Gesicht bedeuten. Und erneut — Millionen von Beispielen.

Es gibt genug Platz am Ende

Ich würde sagen, dass genau diese drei globalen Probleme derzeit die Entwicklung von neuronalen Netzen und maschinellem Lernen einschränken. Wo diese Probleme nicht existieren, wird bereits aktiv genutzt.

Ist das das Ende? Sind neuronale Netze zum Stillstand gekommen?

Unklar. Aber natürlich hofft jeder, dass dem nicht so ist.

Es gibt viele Ansätze und Richtungen, um die fundamentalen Probleme zu lösen, die ich oben angesprochen habe. Doch bisher hat keiner dieser Ansätze etwas Fundamentales Neues hervorgebracht oder ein ungelöstes Problem gelöst. Bisher basieren alle grundlegenden Projekte entweder auf stabilen Ansätzen (Tesla) oder bleiben Testprojekte von Institutionen oder Unternehmen (Google Brain, OpenAI).

Groß gesagt, besteht die Hauptausrichtung darin, eine hochgradige Darstellung der Eingabedaten zu schaffen – eine Art "Gedächtnis". Das einfachste Beispiel für Gedächtnis sind verschiedene "Embeddings" – Darstellungen von Bildern. Ein Beispiel hierfür sind sämtliche Gesichtserkennungssysteme. Das Netzwerk lernt, aus einem Gesicht eine stabile Darstellung zu erzeugen, die unabhängig von Drehung, Beleuchtung und Auflösung ist. Im Grunde minimiert das Netzwerk die Metrik "verschiedene Gesichter – weit auseinander" und "gleiche Gesichter – nah beieinander".

Für solches Lernen sind Zehntausende bis Hunderttausende von Beispielen erforderlich. Das Ergebnis zeigt jedoch einige Ansätze für "One-shot Learning". Jetzt benötigen wir nicht mehr Hunderte von Gesichtern, um eine Person zu erkennen. Nur ein einziges Gesicht reicht aus, und wir erkennen!
Nur ein kleines Problem… Das Netzwerk kann nur relativ einfache Objekte erlernen. Wenn es darum geht, nicht Gesichter, sondern beispielsweise „Menschen anhand ihrer Kleidung“ zu unterscheiden (eine Aufgabe Re-identifizierung) — sinkt die Qualität um ein Vielfaches. Und das Netzwerk kann nicht einmal offensichtliche Perspektivwechsel erlernen.

Und auf Millionen von Beispielen zu lernen, ist auch nicht gerade ein spannendes Vergnügen.

Es gibt Arbeiten, die eine erhebliche Verringerung der Auswahl ermöglichen. Zum Beispiel, eine der ersten Arbeiten zu OneShot Learning von Google:

Es gibt viele solche Arbeiten, zum Beispiel 1 oder 2 oder 3.

Ein Nachteil – normalerweise funktioniert das Lernen gut bei einfachen, „MNIST-ähnlichen Beispielen“. Bei komplexeren Aufgaben ist jedoch eine große Datenbasis, ein Modellschema oder etwas Magie erforderlich.
Die Forschung zu One-Shot-Lernen ist insgesamt ein sehr interessantes Thema. Man findet viele Ideen. Aber größtenteils erschweren die beiden Probleme, die ich aufgezählt habe (Vortraining auf riesigen Datensets / Instabilität bei komplexen Daten) — das Lernen erheblich.

Andererseits nähern sich GANs — generative gegnerische Netzwerke — dem Thema Embedding. Sie haben sicherlich viele Artikel zu diesem Thema auf Habré gelesen. (1, 2,3)
Eine Besonderheit von GANs ist die Bildung eines internen Zustandsraums (im Wesentlichen das gleiche wie Embedding), der es ermöglicht, ein Bild darzustellen. Das können sein Gesichter, es können sein Handlungen.

Das Problem von GANs ist, dass je komplexer das generierte Objekt, desto schwieriger ist es, es mit der Logik von „Generator-Diskriminator“ zu beschreiben. Infolgedessen sind echte Anwendungen von GANs, die bekannt sind, nur DeepFake, das wiederum mit der Darstellung von Gesichtern manipuliert (für die es eine große Datenbasis gibt).

Ich habe sehr wenige andere nützliche Anwendungen gesehen. Normalerweise handelt es sich um Spielereien mit dem Nachbearbeiten von Bildern.

Und wiederum. Niemand hat eine Vorstellung davon, wie uns das helfen wird, in eine bessere Zukunft zu gehen. Das Verständnis der Logik/Räume in einem neuronalen Netzwerk ist gut. Aber es bedarf einer enormen Anzahl von Beispielen, und es ist uns unklar, wie das Netzwerk dieses komplexe Konzept in sich darstellt, und wie wir das neuronale Netzwerk dazu bringen können, sich eine tatsächlich komplexe Darstellung einzuprägen.

Reinforcement Learning — ist ein völlig anderer Ansatz. Sicherlich erinnern Sie sich daran, wie Google alle im Spiel Go übertroffen hat. Die jüngsten Erfolge in Starcraft und Dota. Aber hier sieht die Lage längst nicht so rosig und vielversprechend aus. Am besten beschreibt dieser Artikel.

Wenn man zusammenfasst, was der Autor geschrieben hat:

• Die vorgefertigten Modelle eignen sich nicht / funktionieren in den meisten Fällen schlecht.
• Praktische Aufgaben lassen sich einfacher auf andere Weise lösen. Boston Dynamics verwendet kein RL wegen seiner Komplexität / Unvorhersehbarkeit / Rechenaufwand.
• Damit RL funktioniert, ist eine komplexe Funktion erforderlich. Oft ist es schwierig, diese zu erstellen / zu schreiben.
• Es ist schwierig, Modelle zu trainieren. Man muss viel Zeit investieren, um sie zu optimieren und aus lokalen Optima herauszuführen.
• Folglich ist es schwierig, das Modell zu reproduzieren; die Instabilität des Modells bei geringsten Änderungen.
• Häufig wird es auf irgendwelche wendigen Muster überangepasst, bis hin zum Generator für Zufallszahlen.

Der Schlüsselpunkt ist, dass RL bisher nicht in der Produktion funktioniert. Google hat einige Experimente ( 1, 2 ). Aber ich habe kein einziges Produktivsystem gesehen.

Speicher. Der einzige Nachteil all dessen, was oben beschrieben wurde, ist die Unstrukturierung. Ein Ansatz, um dies zu beheben, besteht darin, neuronalen Netzwerken Zugang zu einem separaten Gedächtnis zu gewähren. So können sie Ergebnisse ihrer Schritte dort speichern und überschreiben. Dann kann das neuronale Netzwerk durch den aktuellen Zustand des Gedächtnisses definiert werden. Das ähnelt sehr klassischen Prozessoren und Computern.

Das bekannteste und beliebteste Artikel — von DeepMind:

Scheint es, als sei dies der Schlüssel zum Verständnis von Intelligenz? Aber eher nicht. Das System benötigt dennoch eine riesige Datenmenge für das Training. Es arbeitet hauptsächlich mit strukturierten tabellarischen Daten. Als Facebook eine ähnliche Herausforderung anpackte, entschieden sie sich für den Weg: "Vergiss das Gedächtnis, machen wir einfach das neuronale Netzwerk komplexer und mehr Beispiele - dann lernt es automatisch."

Entwirrung. Eine weitere Möglichkeit, signifikante Erinnerungen zu erstellen, besteht darin, dieselben Embeddings zu verwenden, jedoch zusätzliche Kriterien beim Training einzuführen, die es ermöglichen, darin „Bedeutungen“ zu erkennen. Zum Beispiel möchten wir ein neuronales Netzwerk trainieren, das das Verhalten von Menschen im Geschäft unterscheidet. Wenn wir den standardmäßigen Ansatz verfolgen würden, müssten wir ein Dutzend Netzwerke erstellen. Eines sucht nach Personen, ein anderes bestimmt, was sie tun, das dritte ihr Alter, das vierte das Geschlecht. Ein separates System analysiert den Teil des Geschäfts, in dem sie sich aufhalten oder lernen. Ein weiteres Netzwerk bestimmt ihre Bewegungsrichtung usw.

Oder, wenn es unbegrenzt viele Daten gäbe, könnte man ein einziges Netzwerk auf alle möglichen Ausgänge trainieren (offensichtlich kann man einen solch großen Datensatz nicht sammeln).

Der disentangled Ansatz sagt uns – lasst uns das Netzwerk so trainieren, dass es selbständig Konzepte unterscheiden kann. Es soll aus Videos embeddings bilden, in denen ein Bereich die Handlung bestimmt, ein anderer die Position auf dem Boden über die Zeit, einer das Wachstum einer Person, und ein weiterer das Geschlecht. Dabei wäre es wünschenswert, dass während des Trainings der Netzwerk nur minimale Hinweise auf solche Schlüsselkonzepte gegeben werden, und dass es selbständig Bereiche herausfiltert und gruppiert. Solcherlei Artikel sind wenig verbreitet (einige davon 1, 2, 3) und insgesamt sind sie recht theoretisch.

Aber diese Richtung sollte zumindest theoretisch die zu Beginn genannten Probleme adressieren.

Die Zerlegung eines Bildes nach den Parametern „Wandfarbe/Bodenfarbe/Form des Objekts/Farbe des Objekts/usw.“

Die Zerlegung eines Gesichts nach den Parametern „Größe, Augenbrauen, Ausrichtung, Hautfarbe, usw.“

Sonstiges

Es gibt viele andere nicht so globale Richtungen, die es ermöglichen, Datenbanken zu verkleinern, mit heterogeneren Daten zu arbeiten, usw.

Aufmerksamkeit. Vielleicht macht es wenig Sinn, dies als eigene Methode herauszustellen. Es ist einfach ein Ansatz, der andere verstärkt. Viele Artikel sind diesem gewidmet (1,2,3). Die Bedeutung von Attention besteht darin, die Reaktion des Netzwerks auf wirklich bedeutende Objekte beim Training zu verstärken. Oftmals geschieht dies durch externe Zielvorgaben oder ein kleines externes Netzwerk.

3D-Simulation. Mit einer guten 3D-Engine kann man häufig 90% der Trainingsdaten abdecken (ich habe sogar ein Beispiel gesehen, in dem fast 99% der Daten mit einer guten Engine abgedeckt wurden). Es gibt viele Ideen und Hacks, wie man ein auf einer 3D-Engine trainiertes Netzwerk dazu bringen kann, mit realen Daten zu arbeiten (Feinabstimmung, Stilübertragung usw.). Aber oft ist es viel schwieriger, eine gute Engine zu erstellen, als die Daten zu sammeln. Beispiele für die Entwicklung von Engines:
Robotertraining (Google, braingarden)
Ausbildung Erkennung von Waren im Geschäft (aber in den zwei Projekten, die wir durchgeführt haben, kamen wir problemlos ohne dieses aus).
Training bei Tesla (wieder das Video, das oben war).

Fazit

Der gesamte Artikel enthält gewissermaßen Zusammenfassungen. Wahrscheinlich ist die Hauptbotschaft, die ich vermitteln wollte – „die Zeiten einfacher Lösungen sind vorbei, neuronale Netze bieten keine einfachen Antworten mehr“. Jetzt muss man viel arbeiten, um komplexe Lösungen zu entwickeln. Oder viel arbeiten, indem man anspruchsvolle wissenschaftliche Forschung betreibt.

Das Thema ist jedoch diskussionswürdig. Vielleicht haben die Leser interessantere Beispiele?

Quelle: habr.com