Kuerzem verëffentlecht , wat e gudden Trend am Maschinnléieren an de leschte Joeren weist. Kuerz gesot: d'Zuel vun de Startups fir Maschinnléieren ass an de leschten zwee Joer erofgaang.
Gutt. Loosst eis kucken "ob d'Bubble geplatzt ass", "wéi weider ze liewen" a schwätze vu wou dës Squiggle iwwerhaapt hierkënnt.
Als éischt schwätze mer iwwer wat de Booster vun dëser Curve war. Wou koum se hier? Si wäerten sech wuel alles erënneren Maschinn Léieren am Joer 2012 um ImageNet Concours. No allem ass dëst dat éischt weltwäit Event! Awer a Wierklechkeet ass dëst net de Fall. An de Wuesstum vun der Curve fänkt e bësse méi fréi un. Ech géif et an e puer Punkten opdeelen.
- 2008 huet d'Entstoe vum Begrëff "Big Data" gesinn. Real Produkter ugefaang zënter 2010. Big Data ass direkt mat Maschinnléieren verbonnen. Ouni grouss Daten ass déi stabil Operatioun vun den Algorithmen déi zu där Zäit existéiert onméiglech. An dëst sinn net neural Netzwierker. Bis 2012 waren neural Netzwierker d'Erhaalung vun enger marginaler Minoritéit. Awer dunn hunn komplett aner Algorithmen ugefaang ze schaffen, déi scho Joeren oder souguer Joerzéngte existéiert hunn: (1963,1993, XNUMX), (1995), (2003),... Startups vun deene Jore si virun allem mat der automatescher Veraarbechtung vu strukturéierten Donnéeën verbonnen: Keesseberäicher, Benotzer, Reklammen, vill méi.
Eng Derivat vun dëser éischter Welle ass eng Rei vu Kaderen wéi XGBoost, CatBoost, LightGBM, etc.
- An 2011-2012 eng Rei vun Bild Unerkennung Concoursen gewonnen. Hir aktuell Benotzung war e bësse verspéit. Ech géif soen datt massiv sënnvoll Startups a Léisungen am Joer 2014 ugefaang hunn. Et huet zwee Joer gedauert fir ze verdauen datt Neuronen nach ëmmer funktionnéieren, fir praktesch Kaderen ze kreéieren déi an enger vernünftbarer Zäit installéiert a lancéiert kënne ginn, Methoden z'entwéckelen déi d'Konvergenzzäit stabiliséieren an beschleunegen.
Convolutional Netzwierker hunn et méiglech gemaach Computer Visioun Problemer ze léisen: Klassifikatioun vun Biller an Objeten am Bild, Objet Detektioun, Unerkennung vun Objeten a Leit, Bild Verbesserung, etc., etc.
- 2015-2017. De Boom vun Algorithmen a Projete baséiert op widderhuelend Netzwierker oder hir Analoga (LSTM, GRU, TransformerNet, etc.). Gutt funktionéierend Ried-zu-Text Algorithmen a Maschinn Iwwersetzungssystemer sinn erschéngen. Si baséieren deelweis op konvolutionalen Netzwierker fir Basisfeatures ze extrahieren. Deelweis wéinst der Tatsaach, datt mir geléiert hunn wierklech grouss a gutt Datesätz ze sammelen.
"Ass d'Bubble geplatzt? Ass den Hype iwwerhëtzt? Hunn se als Blockchain gestuerwen?
Soss! Muer wäert Siri ophalen op Ärem Telefon ze schaffen, an iwwermuer weess Tesla den Ënnerscheed tëscht engem Tour an engem Känguru.
Neural Netzwierker funktionnéieren scho. Si sinn an Dosende vun Apparater. Si erlaben Iech wierklech Suen ze verdéngen, de Maart an d'Welt ronderëm Iech änneren. Den Hype gesäit e bëssen anescht aus:
Et ass just datt neural Netzwierker net méi eppes Neies sinn. Jo, vill Leit hunn héich Erwaardungen. Awer eng grouss Zuel vu Firmen hunn geléiert Neuronen ze benotzen a Produkter op Basis vun hinnen ze maachen. Neuronen bidden nei Funktionalitéit, erlaben Iech Aarbechtsplazen ze schneiden an de Präis vu Servicer ze reduzéieren:
- Fabrikatiounsfirmen integréieren Algorithmen fir Mängel op der Produktiounslinn ze analyséieren.
- Déierenhaff kafen Systemer fir Kéi ze kontrolléieren.
- Automatesch kombinéiert.
- Automatiséiert Call Centers.
- Filteren am SnapChat. (gutt, op d'mannst eppes nëtzlech!)
Awer den Haapt Saach, an net déi offensichtlechst: "Et gi keng nei Iddien méi, oder se bréngen net direkt Kapital." Neural Netzwierker hunn Dosende vu Probleemer geléist. A si wäerten nach méi entscheeden. All déi offensichtlech Iddien déi existéiert hunn vill Startups entstanen. Awer alles wat op der Uewerfläch war, war scho gesammelt. An de leschten zwee Joer sinn ech net op eng eenzeg nei Iddi fir d'Benotzung vun neurale Netzwierker begéint. Net eng eenzeg nei Approche (gutt, ok, et ginn e puer Problemer mat GANs).
An all spéider Startup ass ëmmer méi komplex. Et erfuerdert net méi zwee Kärelen déi en Neuron trainéieren mat oppenen Daten. Et erfuerdert Programméierer, e Server, e Team vu Markéierer, komplex Ënnerstëtzung, asw.
Als Resultat ginn et manner Startups. Awer et gëtt méi Produktioun. Braucht Dir Nummerplackerkennung derbäi? Et ginn honnerte vu Spezialisten mat relevant Erfahrung um Maart. Dir kënnt een astellen an an e puer Méint wäert Äre Mataarbechter de System maachen. Oder kaaft prett gemaach. Awer en neie Startup maachen? .. Verréckt!
Dir musst e Besucher Tracking System erstellen - firwat fir eng Rëtsch Lizenzen bezuelen wann Dir Är eegen an 3-4 Méint maache kënnt, schärfen et fir Äert Geschäft.
Elo ginn neural Netzwierker duerch dee selwechte Wee deen Dosende vun aneren Technologien duerchgaange sinn.
Erënnert Dir Iech wéi d'Konzept vum "Websäit Entwéckler" zënter 1995 geännert huet? De Maart ass nach net mat Spezialisten gesättegt. Et gi ganz wéineg Fachleit. Awer ech ka wetten datt an 5-10 Joer net vill Ënnerscheed tëscht engem Java Programméierer an engem neurale Netzwierk Entwéckler wäert sinn. Et wäert genuch vu béide Spezialisten um Maart sinn.
Et gëtt einfach eng Klass vu Probleemer déi duerch Neuronen geléist kënne ginn. Eng Aufgab ass entstanen - astellen e Spezialist.
"Wat ass nächst? Wou ass déi versprach kënschtlech Intelligenz?
Mee hei ass e klengen awer interessanten Mëssverständnis :)
Den Technologiestack deen haut existéiert, anscheinend wäert eis net zu kënschtlecher Intelligenz féieren. Iddien an hir Neiheet hu sech gréisstendeels erschöpft. Loosst eis schwätzen iwwer wat den aktuellen Niveau vun der Entwécklung hält.
Restriktiounen
Loosst eis mat selbstfueren Autoen ufänken. Et schéngt kloer datt et méiglech ass voll autonom Autoen mat der haiteger Technologie ze maachen. Awer a wéivill Joer dat geschitt ass net kloer. Tesla mengt datt dëst an e puer Joer geschéie wäert -
Et gi vill anerer , déi et op 5-10 Joer schätzen.
Wahrscheinlech, menger Meenung no, an 15 Joer wäert d'Infrastruktur vun de Stied selwer esou änneren, datt d'Entstoe vun autonomen Autoen inévitabel gëtt a seng Fortsetzung gëtt. Awer dëst kann net als Intelligenz ugesi ginn. Modern Tesla ass eng ganz komplex Pipeline fir Datefilter, Sich a Retraining. Dëst sinn Regelen-Regelen-Reegelen, Datensammlung a Filteren iwwer hinnen (hei Ech geschriwwen e bësse méi iwwer dëst, oder kucken aus markéiert).
Den éischte Problem
An dat ass wou mir gesinn éischt fundamental Problem. Grouss Daten. Dëst ass genau dat wat d'aktuell Welle vun neuralen Netzwierker a Maschinnléiere gebuer huet. Hautdesdaags, fir eppes komplex an automatesch ze maachen, brauch Dir vill Daten. Net nëmme vill, awer ganz, ganz vill. Mir brauchen automatiséiert Algorithmen fir hir Sammlung, Marquage a Gebrauch. Mir wëllen datt den Auto d'Camionë vis-à-vis vun der Sonn gesinn - mir mussen als éischt eng genuch Zuel vun hinnen sammelen. Mir wëllen datt den Auto net verréckt gëtt mat engem Vëlo, deen un de Kofferraum boltéiert ass - méi Proben.
Ausserdeem geet ee Beispill net duer. Honnerte? Dausende?
Zweete Problem
Zweete Problem - Visualiséierung vun deem wat eis neural Netzwierk verstanen huet. Dëst ass eng ganz net-trivial Aufgab. Bis elo verstinn wéineg Leit wéi se dat visualiséieren. Dës Artikele si ganz rezent, dëst sinn nëmmen e puer Beispiller, och wa wäit ewech:
Obsessioun mat Texturen. Et weist gutt op wat den Neuron tendéiert ze fixéieren + wat et als Startinformatioun ugeet.
Opmierksamkeet op . Tatsächlech kann d'Attraktioun dacks präzis benotzt ginn fir ze weisen wat sou eng Netzwierkreaktioun verursaacht huet. Ech hunn esou Saachen souwuel fir Debugging a Produktléisungen gesinn. Et gi vill Artikelen iwwer dëst Thema. Awer wat méi komplex d'Donnéeën sinn, dest méi schwéier ass et ze verstoen wéi eng robust Visualiséierung z'erreechen.
Gutt, jo, de gudden alen Set vu "kuckt wat am Mesh ass " Dës Biller waren populär virun 3-4 Joer, awer jiddereen huet séier gemierkt datt d'Biller schéin waren, awer si hunn net vill Bedeitung.
Ech hunn Dosende vun anere Gadgeten, Methoden, Hacks, Fuerschung net ernimmt wéi d'Innere vum Netz ze weisen. Aarbecht dës Tools? Hëllefen se Iech séier ze verstoen wat de Problem ass an d'Netzwierk ze debuggen?.. Kritt de leschte Prozent? Gutt, et ass ongeféier d'selwecht:
Dir kënnt all Concours op Kaggle kucken. An eng Beschreiwung vu wéi d'Leit endgülteg Entscheedunge treffen. Mir hunn 100-500-800 Unitéiten vu Modeller gestapelt an et huet geschafft!
Ech iwwerdreiwen natierlech. Awer dës Approche ginn net séier an direkt Äntwerten.
Wann Dir genuch Erfahrung hutt, no verschiddenen Optiounen gepickt hutt, kënnt Dir en Uerteel ginn iwwer firwat Äre System sou eng Entscheedung getraff huet. Awer et wäert schwéier sinn d'Behuele vum System ze korrigéieren. Installéiert eng Krut, réckelt d'Schwell, füügt en Dataset derbäi, huelt en anert Backend Netzwierk.
Drëtte Problem
Drëtte Fundamental Problem - Gitter léiere Statistiken, net Logik. Statistesch dëst :
Logesch ass et net ganz ähnlech. Neural Netzwierker léieren näischt komplex ausser se gezwongen sinn. Si léieren ëmmer déi einfachst Schëlder méiglech. Hutt Dir Aen, eng Nues, e Kapp? Also dëst ass d'Gesiicht! Oder gitt e Beispill wou Aen net e Gesiicht bedeiten. An erëm - Millioune vu Beispiller.
Do ass vill Plaz um Buedem
Ech géif soen datt et dës dräi global Probleemer sinn déi momentan d'Entwécklung vun neurale Netzwierker a Maschinnléieren limitéieren. A wou dës Problemer et net limitéiert hunn, gëtt et schonn aktiv benotzt.
Ass dëst d'Enn? Sinn neural Netzwierker op?
Onbekannt. Awer natierlech hofft jiddereen net.
Et gi vill Approchen a Richtungen fir déi fundamental Problemer ze léisen, déi ech uewe beliicht hunn. Awer bis elo huet keng vun dësen Approchen et méiglech gemaach eppes grondsätzlech Neies ze maachen, eppes ze léisen wat nach net geléist gouf. Bis elo ginn all fundamental Projeten op Basis vu stabile Approche gemaach (Tesla), oder bleiwen Testprojete vun Institutiounen oder Firmen (Google Brain, OpenAI).
Grof geschwat ass d'Haaptrichtung fir e puer High-Level Representatioun vun den Inputdaten ze kreéieren. An engem Sënn, "Erënnerung". Dat einfachst Beispill vun Erënnerung ass verschidde "Embedding" - Bild Representatioune. Gutt, zum Beispill, all Gesiichtserkennungssystemer. D'Netzwierk léiert aus engem Gesiicht eng stabil Representatioun ze kréien, déi net vun der Rotatioun, der Beliichtung oder der Opléisung hänkt. Wesentlech miniméiert d'Netz d'metresch "verschidde Gesiichter si wäit" an "identesch Gesiichter sinn no."
Fir esou Formatiounen sinn Zénger an Honnertdausende vu Beispiller gebraucht. Awer d'Resultat dréit e puer vun de Rudimenter vum "One-shot Learning". Elo brauche mir keng Honnerte vu Gesiichter fir eng Persoun ze erënneren. Just ee Gesiicht an dat ass alles wat mir sinn !
Et gëtt just ee Problem ... D'Gitter kann nëmmen zimlech einfach Objete léieren. Wann Dir probéiert net Gesiichter z'ënnerscheeden, awer zum Beispill "Leit duerch Kleeder" (Aufgab ) - Qualitéit fällt mat villen Uerderen. An d'Netz kann net méi zimlech offensichtlech Verännerungen an de Winkelen léieren.
A léiere vu Millioune Beispiller ass och lëschteg.
Et gëtt geschafft fir d'Wahlen däitlech ze reduzéieren. Zum Beispill kann een direkt un ee vun den éischte Wierker erënneren OneShot Léieren :
Et gi vill esou Wierker, zum Beispill oder oder .
Et gëtt nëmmen ee Minus - normalerweis funktionnéiert Training gutt op e puer einfache "MNIST" Beispiller. A wann Dir op komplex Aufgaben weidergeet, braucht Dir eng grouss Datebank, e Modell vun Objeten oder eng Art Magie.
Am Allgemengen ass d'Aarbecht un One-Shot Training e ganz interessant Thema. Dir fannt vill Iddien. Awer zum gréissten Deel stéieren déi zwee Probleemer déi ech opgezielt hunn (Pretraining op engem risegen Dataset / Onstabilitéit op komplexen Donnéeën) staark mam Léieren.
Op der anerer Säit, GANs - generativ adversarial Netzwierker - Approche d'Thema Embedding. Dir hutt wahrscheinlech eng Rëtsch Artikelen iwwer Habré zu dësem Thema gelies. (, ,)
Eng Feature vu GAN ass d'Bildung vun engem internen Staatsraum (am Fong déiselwecht Embedding), wat Iech erlaabt e Bild ze zéien. Et kann sinn , kann sinn .
De Problem mat GAN ass, datt déi méi komplex de generéiert Objet, der méi schwéier ass et an "Generator-Diskriminator" Logik ze beschreiwen. Als Resultat sinn déi eenzeg richteg Uwendunge vu GAN, vun deenen héieren ginn, DeepFake, déi, erëm, Gesiichtsrepresentatioune manipuléiert (fir déi et eng rieseg Basis gëtt).
Ech hu ganz wéineg aner nëtzlech Utilisatioune gesinn. Normalerweis eng Zort Trickerei mat Zeechnunge vu Biller ofgeschloss.
An erëm. Keen huet keng Ahnung wéi dëst eis erlaabt an eng méi hell Zukunft ze plënneren. Logik / Raum an engem neurale Netzwierk representéieren ass gutt. Awer mir brauchen eng riesech Unzuel u Beispiller, mir verstinn net wéi den Neuron dëst a sech selwer duerstellt, mir verstinn net wéi een den Neuron un eng wierklech komplex Iddi erënnert.
Verstäerkung léieren - dat ass eng Approche aus enger ganz anerer Richtung. Sécher erënnert Dir Iech un wéi Google jiddereen am Go geschloen huet. Rezent Victoiren am Starcraft an Dota. Mee hei ass alles wäit vun esou roseg a villverspriechend. Hie schwätzt am beschten iwwer RL a seng Komplexitéiten .
Fir kuerz ze resuméieren wat den Auteur geschriwwen huet:
- Modeller aus der Këscht passen net / funktionnéieren an de meeschte Fäll schlecht
- Praktesch Problemer si méi einfach op aner Weeër ze léisen. Boston Dynamics benotzt RL net wéinst senger Komplexitéit / Onberechenbarkeet / Berechnungskomplexitéit
- Fir RL ze schaffen, braucht Dir eng komplex Funktioun. Et ass dacks schwéier ze kreéieren / ze schreiwen
- Schwéier Modeller ze trainéieren. Dir musst vill Zäit verbréngen fir opzepompelen an aus lokalen Optima erauszekommen
- Als Resultat ass et schwéier de Modell ze widderhuelen, de Modell ass onbestänneg mat de geringsten Ännerungen
- Oft overfits puer zoufälleg Mustere, souguer eng zoufälleg Zuel Generator
De Schlësselpunkt ass datt RL nach net an der Produktioun funktionnéiert. Google huet e puer Experimenter ( , ). Mee ech hunn nach keen eenzege Produktsystem gesinn.
Erënnerung. Den Nodeel vun allem hei uewen beschriwwen ass de Mangel u Struktur. Ee vun den Approchen fir ze probéieren all dëst ze raumen ass den neurale Netzwierk Zougang zu getrennten Erënnerung ze bidden. Fir datt si d'Resultater vun hire Schrëtt do ophuelen an iwwerschreiwe kann. Da kann den neurale Netzwierk duerch den aktuellen Erënnerungszoustand bestëmmt ginn. Dëst ass ganz ähnlech wéi klassesch Prozessoren a Computeren.
Déi bekanntst a populär - vun DeepMind:
Et schéngt, datt dëst de Schlëssel ass fir d'Intelligenz ze verstoen? Awer wahrscheinlech net. De System erfuerdert nach ëmmer eng enorm Quantitéit un Daten fir Training. An et funktionnéiert haaptsächlech mat strukturéierten Tabulärdaten. Ausserdeem, wann Facebook en ähnleche Problem, dunn hunn se de Wee geholl "Schrauwen Erënnerung, maacht just den Neuron méi komplizéiert, an hu méi Beispiller - an et wäert eleng léieren."
Ofdreiwung. Eng aner Manéier fir eng sënnvoll Erënnerung ze kreéieren ass déiselwecht Embeddings ze huelen, awer während Training, zousätzlech Critèren aféieren, déi Iech erlaben "Bedeitungen" an hinnen ze markéieren. Zum Beispill wëlle mir en neuralt Netzwierk trainéieren fir tëscht mënschlecht Verhalen an engem Geschäft z'ënnerscheeden. Wa mir de Standardwee gefollegt hunn, musse mir eng Dosen Netzwierker maachen. Een sicht eng Persoun, déi zweet bestëmmt wat hien mécht, déi drëtt ass säin Alter, déi véiert ass säi Geschlecht. Separat Logik kuckt op deen Deel vum Geschäft, wou et trainéiert gëtt fir dëst ze maachen. Déi drëtt bestëmmt seng Streck, etc.
Oder, wann et eng onendlech Quantitéit un Donnéeën wier, da wier et méiglech, en Netzwierk fir all méiglech Resultater ze trainéieren (natierlech, sou eng Array vun Daten kann net gesammelt ginn).
D'Deentanglement Approche seet eis - loosst eis d'Netz trainéieren sou datt et selwer tëscht Konzepter z'ënnerscheeden kann. Sou datt et en Embedding op Basis vum Video géif bilden, wou ee Gebitt d'Aktioun bestëmmt, ee géif d'Positioun um Buedem an der Zäit bestëmmen, ee géif d'Héicht vun der Persoun bestëmmen, an ee géif d'Geschlecht vun der Persoun bestëmmen. Zur selwechter Zäit, wann ech trainéieren, wëll ech bal net d'Netz mat sou Schlësselkonzepter froen, mee éischter fir d'Beräicher ze markéieren an ze gruppéieren. Et gi zimmlech e puer esou Artikelen (e puer vun hinnen , , ) an allgemeng si se relativ theoretesch.
Awer dës Richtung, op d'mannst theoretesch, sollt d'Problemer decken, déi am Ufank opgezielt sinn.
Bild Zersetzung no de Parameteren "Mauer Faarf / Buedem Faarf / Objet Form / Objet Faarf / etc."
Zersetzung vun engem Gesiicht no de Parameteren "Gréisst, Wenkbrauwen, Orientéierung, Hautfaarf, asw."
Прочее
Et gi vill aner, net sou global, Beräicher, déi Iech erlaben iergendwéi d'Datebank ze reduzéieren, mat méi heterogenen Donnéeën ze schaffen, etc.
Opgepasst. Et mécht wahrscheinlech kee Sënn dëst als eng separat Method ze trennen. Just eng Approche déi anerer verbessert. Vill Artikele sinn him gewidmet (,,). De Punkt vun der Opmierksamkeet ass d'Äntwert vum Netz speziell op bedeitend Objete während Training ze verbesseren. Dacks duerch eng Zort extern Zilbezeechnung, oder e klengen externen Netzwierk.
3D Simulatioun. Wann Dir e gudden 3D-Motor maacht, kënnt Dir dacks 90% vun den Trainingsdaten domat ofdecken (Ech hunn souguer e Beispill gesinn wou bal 99% vun den Donnéeën vun engem gudde Motor ofgedeckt goufen). Et gi vill Iddien an Hacks iwwer wéi een Netzwierk trainéiert op engem 3D-Motor funktionnéiert mat realen Daten (Fintuning, Stiltransfer, etc.). Awer dacks e gudde Motor ze maachen ass e puer Uerderen vun der Gréisst méi schwéier wéi Daten ze sammelen. Beispiller wann Motore gemaach goufen:
Roboter Training (, )
Training Sessiounen Wueren am Geschäft (awer an deenen zwee Projeten déi mir gemaach hunn, hu mir einfach ouni et gemaach).
Training bei Tesla (erëm, de Video hei uewen).
Conclusiounen
De ganzen Artikel ass, an engem Sënn, Conclusiounen. Wahrscheinlech den Haaptmessage, deen ech wollt maachen, war "d'Freebies sinn eriwwer, Neuronen bidden net méi einfach Léisungen." Elo musse mir haart schaffen fir komplex Entscheedungen ze treffen. Oder schafft schwéier komplex wëssenschaftlech Fuerschung ze maachen.
Am Allgemengen ass d'Thema diskutabel. Vläicht hunn d'Lieser méi interessant Beispiller?
Source: will.com