Koartlyn útbrocht , dy't de lêste jierren in goede trend toant yn masine learen. Koartsein: it oantal startups foar masine learen is de lêste twa jier sakke.
Goed. Litte wy sjen nei "of de bubble is barsten", "hoe kinne jo trochgean te libjen" en prate oer wêr't dizze squiggle yn it earste plak komt.
Lit ús earst prate oer wat wie de booster fan dizze kromme. Wêr kaam se wei? Se sille wierskynlik alles ûnthâlde masine learen yn 2012 by de ImageNet-kompetysje. Dit is ommers it earste wrâldwide evenemint! Mar yn werklikheid is dit net it gefal. En de groei fan 'e kromme begjint in bytsje earder. Ik soe it ferbrekke yn ferskate punten.
- 2008 seach it ûntstean fan 'e term "big data". Echte produkten begûn sûnt 2010. Big data is direkt relatearre oan masine learen. Sûnder grutte gegevens is de stabile wurking fan 'e algoritmen dy't op dat stuit bestien ûnmooglik. En dit binne gjin neurale netwurken. Oant 2012 wiene neurale netwurken it behâld fan in marginale minderheid. Mar doe begûnen folslein oare algoritmen te wurkjen, dy't al jierren, of sels desennia bestien hiene: (1963,1993, XNUMX), (1995), (2003),... Startups fan dy jierren wurde foaral ferbûn mei it automatysk ferwurkjen fan strukturearre gegevens: kassa's, brûkers, reklame, folle mear.
In derivative fan dizze earste welle is in set fan kaders lykas XGBoost, CatBoost, LightGBM, ensfh.
- Yn 2011-2012 wûn in oantal byld erkenning kompetysjes. Har eigentlike gebrûk waard wat fertrage. Ik soe sizze dat massaal betsjuttingsfolle startups en oplossingen begon te ferskinen yn 2014. It duorre twa jier om te fertarren dat neuroanen noch wurkje, om handige kaders te meitsjen dy't yn in ridlike tiid kinne wurde ynstalleare en lansearre, om metoaden te ûntwikkeljen dy't de konverginsjetiid stabilisearje en fersnelle.
Konvolúsjonele netwurken makken it mooglik om problemen mei komputerfisy op te lossen: klassifikaasje fan bylden en objekten yn 'e ôfbylding, objektdeteksje, erkenning fan objekten en minsken, byldferbettering, ensfh., ensfh.
- 2015-2017. De boom fan algoritmen en projekten basearre op weromkommende netwurken as har analogen (LSTM, GRU, TransformerNet, ensfh.). Goed funksjonearjende spraak-nei-tekst-algoritmen en masine-oersetsystemen binne ferskynd. Se binne foar in part basearre op konvolúsjonele netwurken om basisfunksjes te ekstrahearjen. Foar in part troch it feit dat wy learden om echt grutte en goede datasets te sammeljen.
"Is de bel barst? Is de hype oververhit? Binne se stoarn as in blockchain?"
Oars! Moarn sil Siri ophâlde mei wurkjen oan jo tillefoan, en oermorgen sil Tesla it ferskil net witte tusken in beurt en in kangoeroe.
Neurale netwurken wurkje al. Se binne yn tsientallen apparaten. Se kinne jo echt jild fertsjinje, de merk en de wrâld om dy hinne feroarje. Hype sjocht der wat oars út:
It is gewoan dat neurale netwurken net mear wat nijs binne. Ja, in protte minsken hawwe hege ferwachtingen. Mar in grut oantal bedriuwen hawwe leard neuroanen te brûken en produkten op basis dêrfan te meitsjen. Neurons leverje nije funksjonaliteit, kinne jo banen besunigje en de priis fan tsjinsten ferminderje:
- Produksjebedriuwen yntegrearje algoritmen om defekten yn produksjeline te analysearjen.
- Feehâlders keapje systemen om kij te kontrolearjen.
- Automatysk kombinearret.
- Automatisearre Call Centers.
- Filters yn SnapChat. (goed, teminsten wat nuttich!)
Mar it wichtichste ding, en net it meast foar de hân lizzende: "D'r binne gjin nije ideeën mear, of se sille gjin direkte haadstêd bringe." Neurale netwurken hawwe tsientallen problemen oplost. En se sille noch mear beslute. Alle foar de hân lizzende ideeën dy't bestien joegen oanlieding ta in protte startups. Mar alles wat op it oerflak wie, wie al sammele. Yn 'e ôfrûne twa jier bin ik gjin inkeld nij idee tsjinkaam foar it brûken fan neurale netwurken. Net ien nije oanpak (goed, ok, d'r binne in pear problemen mei GAN's).
En elke folgjende opstart is hieltyd komplekser. It fereasket net mear twa jonges dy't in neuron traine mei iepen gegevens. It fereasket programmeurs, in server, in team fan markers, komplekse stipe, ensfh.
As gefolch binne d'r minder startups. Mar der is mear produksje. Need te foegjen kenteken erkenning? D'r binne hûnderten spesjalisten mei relevante ûnderfining op 'e merke. Jo kinne ien hiere en oer in pear moannen sil jo meiwurker it systeem meitsje. Of keapje klear. Mar in nije opstart dwaan?.. Gek!
Jo moatte in systeem foar it folgjen fan besikers oanmeitsje - wêrom betelje foar in boskje lisinsjes as jo jo eigen kinne meitsje yn 3-4 moannen, skerp it foar jo bedriuw.
No geane neurale netwurken troch itselde paad dat tsientallen oare technologyen binne trochgien.
Unthâlde jo hoe't it konsept fan "websideûntwikkelder" sûnt 1995 feroare is? De merk is noch net verzadigd mei spesjalisten. D'r binne heul min professionals. Mar ik kin wedzjen dat der yn 5-10 jier net folle ferskil sil wêze tusken in Java-programmeur en in neurale netwurkûntwikkelder. Der sil genôch fan beide spesjalisten op 'e merk wêze.
D'r sil gewoan in klasse fan problemen wêze dy't kinne wurde oplost troch neuronen. In taak is ûntstien - hiere in spesjalist.
"Wat komt hjirnei? Wêr is de beloofde keunstmjittige yntelliginsje?”
Mar hjir is in lyts mar nijsgjirrich misferstân :)
De technologystapel dy't hjoeddedei bestiet, sil ús blykber net liede ta keunstmjittige yntelliginsje. Ideeën en har nijichheid hawwe harsels foar in grut part útput. Litte wy prate oer wat it hjoeddeistige nivo fan ûntwikkeling hâldt.
Beskikberens
Litte wy begjinne mei selsridende auto's. It liket dúdlik dat it mooglik is om folslein autonome auto's te meitsjen mei de hjoeddeistige technology. Mar oer hoefolle jierren dat barre sil, is net dúdlik. Tesla leaut dat dit oer in pear jier sil barre -
Der binne in protte oaren , dy't skatte it op 5-10 jier.
Meast wierskynlik, nei myn miening, yn 15 jier sil de ynfrastruktuer fan stêden sels feroarje op sa'n manier dat it ûntstean fan autonome auto's ûnûntkomber wurde sil en har fuortsetting wurde sil. Mar dit kin net beskôge wurde as yntelliginsje. Moderne Tesla is in heul komplekse pipeline foar gegevensfiltering, sykjen en oplieding. Dit binne regels-regels-regels, gegevenssammeling en filters oer har (hjir Ik skreau in bytsje mear oer dit, of watch from merken).
It earste probleem
En dit is wêr't wy sjogge earste fûnemintele probleem. Grutte data. Dit is krekt wat de hjoeddeistige welle fan neurale netwurken en masine learen berne hat. Tsjintwurdich, om wat kompleks en automatysk te dwaan, hawwe jo in protte gegevens nedich. Net allinnich in protte, mar hiel, hiel folle. Wy hawwe automatisearre algoritmen nedich foar har kolleksje, markearring en gebrûk. Wy wolle de auto de frachtweinen foar de sinne sjen litte - wy moatte earst in foldwaande oantal sammelje. Wy wolle dat de auto net gek wurdt mei in fyts oan 'e kofferbak bolt - mear samples.
Boppedat is ien foarbyld net genôch. Hûnderten? Tûzenen?
Twadde probleem
Twadde probleem - fisualisaasje fan wat ús neurale netwurk hat begrepen. Dit is in heul net-triviale taak. Oant no, in pear minsken begripe hoe te visualisearjen dit. Dizze artikels binne heul resint, dit binne mar in pear foarbylden, sels as fier:
obsesje mei tekstueren. It lit goed sjen wêr't it neuron oanstriid om te fixearjen + wat it as startynformaasje ûnderfynt.
Oandacht by . Yn feite kin attraksje faaks krekt brûkt wurde om sjen te litten wat sa'n netwurkreaksje feroarsake hat. Ik haw sokke dingen sjoen foar sawol debuggen as produktoplossingen. D'r binne in protte artikels oer dit ûnderwerp. Mar hoe komplekser de gegevens, hoe dreger it is om te begripen hoe't jo robúste fisualisaasje kinne berikke.
No, ja, de goede âlde set fan "sjoch wat der yn it gaas is " Dizze foto's wiene populêr 3-4 jierren lyn, mar elkenien realisearre gau dat de foto's wiene moai, mar se hiene net folle betsjutting.
Ik neamde gjin tsientallen oare gadgets, metoaden, hacks, ûndersyk oer hoe't jo de binnenkant fan it netwurk werjaan. Wurkje dizze ark? Helpje se jo fluch te begripen wat it probleem is en it netwurk te debuggen? .. Krij it lêste persintaazje? No, it is sawat itselde:
Jo kinne elke kompetysje sjen op Kaggle. En in beskriuwing fan hoe't minsken definitive besluten nimme. Wy steapele 100-500-800 ienheden fan modellen en it wurke!
Ik oerdriuw fansels. Mar dizze oanpakken jouwe gjin rappe en direkte antwurden.
Troch genôch ûnderfining te hawwen, nei ferskate opsjes te hawwen, kinne jo in oardiel jaan oer wêrom't jo systeem sa'n beslút makke hat. Mar it sil lestich wêze om it gedrach fan it systeem te korrigearjen. Ynstallearje in kruk, ferpleatse de drompel, foegje in dataset ta, nim in oar backend-netwurk.
Tredde probleem
Tredde fûnemintele probleem - rasters leare statistiken, net logika. Statistysk dit :
Logysk is it net heul gelyk. Neurale netwurken leare neat komplekss, útsein as se twongen wurde. Se leare altyd de ienfâldichste tekens mooglik. Hawwe jo eagen, in noas, in holle? Dus dit is it gesicht! Of jou in foarbyld dêr't eagen gjin gesicht betsjutte. En wer - miljoenen foarbylden.
D'r is genôch romte oan 'e ûnderkant
Ik soe sizze dat it dizze trije wrâldwide problemen binne dy't op it stuit de ûntwikkeling fan neurale netwurken en masine learen beheine. En wêr't dizze problemen it net beheine, wurdt it al aktyf brûkt.
Dit is it ein? Binne neurale netwurken op?
Ûnbekend. Mar, fansels, elkenien hopet net.
D'r binne in protte oanpakken en rjochtingen om de fûnemintele problemen op te lossen dy't ik hjirboppe markearre. Mar oant no ta hat gjin fan dizze oanpakken it mooglik makke om wat fûneminteel nij te dwaan, wat op te lossen dat noch net oplost is. Oant no wurde alle fûnemintele projekten dien op basis fan stabile oanpak (Tesla), of bliuwe testprojekten fan ynstituten of korporaasjes (Google Brain, OpenAI).
Rûchwei sprutsen is de haadrjochting it meitsjen fan wat fertsjintwurdiging op heech nivo fan 'e ynfiergegevens. Yn in sin, "ûnthâld". It ienfâldichste foarbyld fan ûnthâld is ferskate "Ynbedding" - ôfbyldingsfertsjintwurdigingen. No, bygelyks, alle systemen foar gesichtsherkenning. It netwurk leart fan in gesicht wat stabile fertsjintwurdiging te krijen dy't net ôfhinklik is fan rotaasje, ferljochting of resolúsje. Yn essinsje minimalisearret it netwurk de metryske "ferskillende gesichten binne fier" en "identike gesichten binne tichtby."
Foar sa'n training binne tsientûzenen en hûnderttûzenen foarbylden nedich. Mar it resultaat draacht guon fan 'e rudiminten fan "One-shot Learning". No hawwe wy gjin hûnderten gesichten nedich om in persoan te ûnthâlden. Mar ien gesicht en dat is alles wat wy binne !
D'r is mar ien probleem ... It raster kin allinich frij ienfâldige objekten leare. As jo besykje gjin gesichten te ûnderskieden, mar bygelyks "minsken troch klean" (taak ) - kwaliteit falt mei in protte oarders fan grutte. En it netwurk kin net langer frij dúdlike feroaringen yn hoeken leare.
En learen fan miljoenen foarbylden is ek aardich leuk.
Der wurdt wurke om ferkiezings flink te ferminderjen. Men kin bygelyks fuortendaliks ien fan 'e earste wurken ophelje OneShot Learning :
Der binne in protte fan sokke wurken, bygelyks of of .
D'r is ien minus - normaal wurket training goed op guon ienfâldige "MNIST" foarbylden. En as jo trochgean nei komplekse taken, hawwe jo in grutte databank nedich, in model fan objekten, of in soarte fan magy.
Yn 't algemien is wurk oan One-Shot-training in heul ynteressant ûnderwerp. Jo fine in protte ideeën. Mar foar it grutste part, de twa problemen dy't ik neamde (foartraining op in enoarme dataset / instabiliteit op komplekse gegevens) sterk bemuoie mei learen.
Oan 'e oare kant benaderje GAN's - generative adversariale netwurken - it ûnderwerp fan ynbêde. Jo hawwe wierskynlik in boskje artikels oer Habré oer dit ûnderwerp lêzen. (, ,)
In skaaimerk fan GAN is de foarming fan wat ynterne steat romte (yn essinsje deselde Embedding), wêrmei jo te tekenjen in ôfbylding. It kin wêze , kin wêze .
It probleem mei GAN is dat de komplekser it oanmakke foarwerp, hoe dreger it is om te beskriuwen yn "generator-diskriminator" logika. As gefolch binne de ienige echte applikaasjes fan GAN wêrfan heard wurdt DeepFake, dy't, wer, gesichtsfoarstellings manipulearret (wêrfoar d'r in enoarme basis is).
Ik haw heul min oare nuttige gebrûk sjoen. Meastentiids in soarte fan trickery wêrby't ôfmeitsjen fan tekeningen fan plaatsjes.
En op 'e nij. Nimmen hat enig idee hoe't dit ús sil tastean om nei in helderdere takomst te gean. It fertsjintwurdigjen fan logika / romte yn in neural netwurk is goed. Mar wy hawwe in enoarm oantal foarbylden nedich, wy begripe net hoe't it neuron dit op himsels fertsjintwurdiget, wy begripe net hoe't it neuron in echt kompleks idee kin ûnthâlde.
Fersterking learen - dit is in oanpak út in folslein oare rjochting. Jo ûnthâlde jo wis hoe't Google elkenien yn Go fersloech. Resinte oerwinningen yn Starcraft en Dota. Mar hjir is alles lang net sa rooskleurich en kânsryk. Hy praat it bêste oer RL en syn kompleksiteiten .
Om koart gearfetsje wat de skriuwer skreau:
- Modellen út 'e doaze passe / wurkje yn'e measte gefallen net min
- Praktyske problemen binne makliker op oare manieren op te lossen. Boston Dynamics brûkt RL net fanwege syn kompleksiteit / ûnfoarspelberens / komputative kompleksiteit
- Foar RL om te wurkjen, moatte jo in komplekse funksje. It is faak lestich om te meitsjen/skriuwen
- It is lestich om modellen te trenen. Jo moatte in protte tiid besteegje om te pompen en út lokale optima te kommen
- As gefolch is it lestich om it model te werheljen, it model is ynstabyl mei de minste feroaringen
- Faak overfits guon willekeurige patroanen, sels in willekeurige getallengenerator
It wichtichste punt is dat RL noch net wurket yn produksje. Google hat wat eksperiminten ( , ). Mar ik haw net sjoen ien produkt systeem.
Oantinken. It neidiel fan alles hjirboppe beskreaun is gebrek oan struktuer. Ien fan 'e oanpak om te besykjen dit alles op te romjen is om it neurale netwurk tagong te jaan ta apart ûnthâld. Sadat se dêr de resultaten fan har stappen opskriuwe en oerskriuwe kin. Dan kin it neuronale netwurk bepaald wurde troch de hjoeddeistige ûnthâldstatus. Dit is heul gelyk oan klassike processors en kompjûters.
De meast ferneamde en populêre - fan DeepMind:
It liket derop dat dit de kaai is foar it begripen fan yntelliginsje? Mar wierskynlik net. It systeem fereasket noch in enoarme hoemannichte gegevens foar training. En it wurket benammen mei strukturearre tabelgegevens. Boppedat, doe't Facebook in ferlykber probleem, doe namen se it paad "skroef ûnthâld, meitsje gewoan it neuron yngewikkelder, en hawwe mear foarbylden - en it sil op himsels leare."
Untwikkeling. In oare manier om in sinfol ûnthâld te meitsjen is deselde ynbêdingen te nimmen, mar yntrodusearje by training ekstra kritearia wêrmei jo "betsjuttings" yn har markearje kinne. Wy wolle bygelyks in neuraal netwurk traine om ûnderskied te meitsjen tusken minsklik gedrach yn in winkel. As wy it standertpaad folgen, soene wy in tsiental netwurken moatte meitsje. Ien siket in persoan, de twadde is it bepalen fan wat er docht, de tredde is syn leeftyd, de fjirde is syn geslacht. Aparte logika sjocht nei it diel fan 'e winkel dêr't it docht/is oplaat om dit te dwaan. De tredde bepaalt syn trajekt, ensfh.
Of, as d'r in ûneinige hoemannichte gegevens wie, dan soe it mooglik wêze om ien netwurk te trenen foar alle mooglike útkomsten (fansels kin sa'n array fan gegevens net sammele wurde).
De oanpak fan disentanglement fertelt ús - lit ús it netwurk traine sadat it sels ûnderskiede kin tusken begripen. Sadat it soe foarmje in ynbêde basearre op de fideo, dêr't ien gebiet soe bepale de aksje, men soe bepale de posysje op 'e flier yn' e tiid, men soe bepale de persoan syn hichte, en men soe bepale de persoan syn geslacht. Tagelyk, by it oplieden, soe ik it netwurk hast net mei sokke kaaibegripen wolle oanmoedigje, mar leaver dat it gebieten markearje en groepearje. D'r binne nochal wat sokke artikels (guon fan har , , ) en yn 't algemien binne se frij teoretysk.
Mar dizze rjochting, op syn minst teoretysk, soe de problemen moatte dekke oan it begjin.
Ofbylding ûntbining neffens de parameters "muorrekleur / flierkleur / objektfoarm / objektkleur / ensfh."
Dekomposysje fan in gesicht neffens de parameters "grutte, wynbrauwen, oriïntaasje, hûdskleur, ensfh."
Прочее
D'r binne in protte oare, net sa globale, gebieten wêrmei jo op ien of oare manier de databank kinne ferminderje, wurkje mei mear heterogene gegevens, ensfh.
omtinken. It hat wierskynlik gjin sin om dit út te skieden as in aparte metoade. Gewoan in oanpak dy't oaren fersterket. In protte artikels binne oan him wijd (,,). It punt fan oandacht is om de reaksje fan it netwurk spesifyk te ferbetterjen op wichtige objekten tidens training. Faak troch in soarte fan eksterne doel oantsjutting, of in lyts ekstern netwurk.
3D simulaasje. As jo in goede 3D-motor meitsje, kinne jo der faaks 90% fan 'e trainingsgegevens mei dekke (ik seach sels in foarbyld wêrby't hast 99% fan 'e gegevens troch in goede motor dekt waard). D'r binne in protte ideeën en hacks oer hoe't jo in netwurk oplaat meitsje op in 3D-motor wurkje mei echte gegevens (Fine tuning, styloerdracht, ensfh.). Mar faaks it meitsjen fan in goede motor is ferskate oarders fan grutte dreger dan it sammeljen fan gegevens. Foarbylden doe't motors waarden makke:
Robot training (, )
Training sesjes guod yn 'e winkel (mar yn 'e twa projekten dy't wy dien hawwe, koene wy maklik sûnder).
Training by Tesla (wer, de fideo hjirboppe).
befinings
It hiele artikel is, yn in sin, konklúzjes. Wierskynlik wie it haadberjocht dat ik meitsje woe "de freebies binne foarby, neuroanen jouwe gjin ienfâldige oplossingen mear." No moatte wy hurd wurkje om komplekse besluten te nimmen. Of wurkje hurd dwaan kompleks wittenskiplik ûndersyk.
Yn 't algemien is it ûnderwerp diskutabel. Miskien hawwe lêzers mear nijsgjirrige foarbylden?
Boarne: www.habr.com