Kas masinõppe mull lõhkes või algas uus koidik

Hiljuti ilmus artikkel, mis annab head ülevaadet viimaste aastate masinõppe suundumustest. Lühidalt: viimasel kahel aastal on masinõppe alaste idufirmade arv järsult langenud.

Noh, räägime "kas mull on lõhkenud", "kuidas edasi elada" ja arutame, kust see üldse selline keerukus tuli.

Esmalt rääkige, mis oli selle kõvera tõukejõud. Kust see pärines. Kõik ilmselt mäletavad võitu masinõppes 2012. aastal ImageNeti võistlusel. See oli ju esimene globaalne üritus! Kuid tegelikult pole see nii. Ja kõvera tõus algab mõnevõrra varem. Jagaksin selle mitmeks hetkeks.

1. Aasta 2008 oli suurandmete mõiste tekkimise aastaks. Tõelised tooted hakkasid ilmuma 2010. aastast. Suurandmed on tihedalt seotud masinõppega. Ilma suurandmeteta ei ole olemasolevate algoritmide stabiilne töö võimalik. Ja see ei ole närvivõrgud. Enne 2012. aastat olid närvivõrgud marginaalse vähemuse pärusmaa. Selle asemel hakkasid tööle hoopis teised algoritmid, mis olid eksisteerinud juba aastaid, isegi aastakümneid: SVM(1963, 1993 aastad), Random Forest (1995), AdaBoost (2003),... Selleaegsed idufirmad olid peamiselt seotud struktureeritud andmete automaatse töötlemisega: kassad, kasutajad, reklaam ja palju muud.

   Selle esimesest lainest tulenev on hulk raamistikku, nagu XGBoost, CatBoost, LightGBM jne.

2. Aastatel 2011-2012 konvolutsioonilised närvivõrgud on võitnud mitmeid pildituvastuse konkurse. Nende tegelik kasutamine viibis mõnevõrra. Ütleksin, et massiliselt ettevaatlikud idufirmad ja lahendused hakkasid ilmuma alates 2014. aastast. Kahe aasta jooksul õpiti, et närvivõrgud tõeliselt töötavad, loodi mugavad raamistikud, mida oli võimalik paigaldada ja käivitada mõistliku ajaga ning töötati välja meetodeid, mis stabiliseeriksid ja kiirendaksid konvergentsi aega.

   Konvolutsioonid võimaldasid lahendada masinõppe ülesandeid: piltide ja objektide klassifitseerimine pildis, objektide tuvastamine, objektide ja inimestega tutvumine, piltide parandamine jne.

3. 2015–2017. Algoritmide ja projektides, mis on seotud korduvate võrkude või nende analoogidega (LSTM, GRU, TransformerNet jne), toimus tõeline buum. Ilmusid hästi töötavad „kõne-tekstiks” algoritmid ja masintõlkesüsteemid. Osa neist põhines konvolutsioonivõrkudel, et tuvastada põhiomadusi. Osaliselt on need loodud suurtest ja kvaliteetsetest andmestikest.

„Mull lõhkes? Hype on ülekuumenenud? Kas nad on surnud nagu plokiahel?”
Just nimelt! Homme lakkab teie telefonis Siri töötamast ja ülehomme ei suuda Tesla eristada pöördeid kengurust.

Neuraalvõrgud töötavad juba praegu. Need on kümnetes seadmetes, nad võimaldavad tõeliselt teenida raha, muutes turgu ja ümbritsevat maailma. Hype näeb välja veidi teistsugune:

Lihtsalt neuraalvõrgud ei ole enam midagi uut. Jah, paljude inimeste ootused on liiga kõrged. Kuid suur hulk ettevõtteid on õppinud neid rakendama ja looma nende alusel tooteid. Neuraalvõrgud pakuvad uut funktsionaalsust, võimaldavad vähendada töötajate arvu ja langetada teenuste hindu:

• Tootmisettevõtted integreerivad algoritme defektide analüüsiks liinil.
• Loomakasvatustalud ostavad süsteeme lehmade jälgimiseks.
• Automaatne lõikusmasin.
• Automatiseeritud kõnekeskused.
• Filtrid SnapChat'is. (noh, vähemalt midagi mõistlikku!)

Aga peamine, ja mitte nii ilmne: „Uusi ideid pole enam, või need ei too kohest kapitali”. Neuraalvõrgud on lahendanud kümneid probleeme. Ja lahendavad veel rohkem. Kõik ilmsemad ideed, mis olemas olid, on tootnud hulgi alustavaid ettevõtteid. Kuid kõik, mis oli pinnal — on juba kogutud. Viimase kahe aasta jooksul ei ole ma näinud ühtegi uut ideed neuraalvõrkude rakendamiseks. Ühtegi uut lähenemist (noh, ok, seal on GAN-ide osas veidi segadust).

Ja iga järgmine startup on üha keerulisem. See nõuab enam mitte kahte kutti, kes koolitavad neuraalvõrku avatud andmetel. See nõuab programmeerijaid, serverit, märkijate meeskonda, keerukamat tuge jne.

Tulemuseks on — alustavate ettevõtete arv väheneb. Kuid tootmine suureneb. Kas on vaja auto numbrite tuvastamist? Turul on sadu spetsialiste, kellel on asjakohane kogemus. Võite palgata ja paari kuuga teie töötaja loob süsteemi. Või osta valmis lahendus. Kuid uue startupi loomine?.. Hullumeelsus!

Vajame külastajate jälgimise süsteemi - miks maksta hunniku litsentside eest, kui oma mugandatud süsteemi saab luua 3-4 kuuga?

Praegu läbivad närvivõrgud sama teed, mida on läbinud kümned teised tehnoloogiad.

Kas mäletate, kuidas 1995. aastast alates on muutunud mõisted 'veebiarendaja'? Seni, kuni turg ei ole spetsialiste üle ujutatud, on professionaale väga vähe. Kuid ma ei saa vaidelda, et 5-10 aasta pärast ei ole vahet Java-kodutöö tegija ja närvivõrkude arendaja vahel. Nii üht kui teist spetsialisti on turul piisavalt.

Lihtsalt on ilmne, et on tekkimas ülesanne - palgatakse spetsialist.

"Ja mis edasi? Kus on lubatud tehisintellekt?"

Siin on väike, kuid huvitav segadus :)

Praegune tehnoloogiate kogum, mis meil on, ei viida meid ilmselt tehisintellektini. Ideed ja nende uudsus on suuresti ammendunud. Räägime, mis hoiab praegust arengutaset.

Piirangud

Alustame isejuhtivatest autodest. Tundub, et täielikult autonoomsete autode valmistamine praeguste tehnoloogiatega on võimalik. Kuid millal see juhtub - ei ole selge. Tesla arvab, et see juhtub paari aasta pärast -

On palju teisi spetsialiste, kes hindavad seda 5-10 aastaks.

Tõenäoliselt, minu arvates, 15 aasta pärast muutuvad linnade infrastruktuurid nii, et autonoomsete autode ilmumine muutub vältimatuks, see saab nende jätkuks. Kuid seda ei saa pidada intelligentsuseks. Kaasaegne Tesla on väga keeruline andmete filtreerimise, otsimise ja ümberõppe teenus. See on reeglid-reeglid-reeglid, andmete kogumine ja filtrid nende üle (siin siit olen ma sellest veidi põhjalikumalt kirjutanud, või vaata selle marki).

Esimene probleem

Ja just siin näeme esimest fundamentaalset probleemi. Suured andmed. See on see, mis põhjustas praeguse laine närvivõrkude ja masinõppe vallas. Praegu, et midagi keerulist ja automaatset teha, on vaja palju andmeid. Mitte lihtsalt palju, vaid väga-väga palju. On vajalikud automatiseeritud algoritmid nende kogumiseks, tähistamiseks ja kasutamiseks. Kui tahame, et masin näeks veokit päikese vastu — peame esmalt koguma piisavalt palju näiteid. Kui tahame, et masin ei läheks segadusse jalgrattast, mis on kinnitatud pagasiruumi — rohkem näiteid.

Ja ühte näidet ei piisa. Sadu? Tuhandeid?

Teine probleem

Teine probleem — visualiseerimine, mida meie närvivõrk mõistis. See on väga mittetriviaalne ülesanne. Siiani on vähe inimesi, kes mõistavad, kuidas seda visualiseerida. Need artiklid on üsna värsked, see on vaid mõned näited, isegi kui need on kauged:
Visualiseerimine teksteuride peatukesed. Näitab hästi, millele närvivõrk kipub peatuma + mida ta tajub algteabe allikana.

Visualiseerimine tähelepanu juures tõlgetes. Tõeliselt saab tähelepanu sageli kasutada, et näidata, mis põhjustas sellist reageeringut võrku. Olen selliseid asju kohanud nii silumise kui ka toote lahenduste jaoks. Selle teema kohta on väga palju artikleid. Aga mida keerulisemad on andmed, seda keerulisem on mõista, kuidas saavutada stabiilne visualiseerimine.

Ja jah, vana hea komplekt, «vaata, mis on võrgu sees filtrites». Need pildid olid populaarsed umbes 3-4 aastat tagasi, aga kõik mõistsid kiiresti, et pildid on küll ilusad, aga sisul on vähe.

Ma ei nimetanud kümneid teisi nippe, viise, häkke, uuringuid selle kohta, kuidas võrgu sisemust kuvada. Kas need tööriistad töötavad? Kas need aitavad kiiresti mõista, mis on probleem ja võrku siluda?.. Viimased protsendid välja tõmmata? No, umbes sama moodi:

Võid vaadata ükskõik millisest konkursist Kaggle'is. Ja kirjeldust sellest, kuidas inimesed oma lõplikke lahendusi teevad. Me ehitasime 100-500-800 miljonit mudelit ja see töötas!

Ma muidugi liialdan. Aga need lähenemised ei anna kiireid ja otseseid vastuseid.

Omades piisavalt kogemusi ja proovides erinevaid variante, võib anda otsuse, miks teie süsteem nii otsustas. Aga süsteemi käitumise parandamine on keeruline. Kinnita hädaabi, tõsta läve, lisa andmestik, võta teine tagaosa võrku.

Kolmas probleem

Kolmas fundamentaalne probleem — võrgud õpetavad mitte loogikat, vaid statistikat. Statistiliselt see nägu:

Loogiliselt — see ei tundu eriti sarnane. Kübervõrgud ei õpi midagi keerulist, kui neid ei sunnita. Nad õpivad alati maksimaalselt lihtsaid jooni. Kas on silmad, nina, pea? Siis on see nägu! Too näiteks, kus silmad ei tähenda nägu. Ja jälle — miljoneid näiteid.

Madalaimal tasemel on piisavalt ruumi

Ma ütleksin, et just need kolm globaalse probleemid täna piiravad kübervõrkude ja masinõppe arengut. Ja see, kus need probleemid ei piiranud — seda kasutatakse juba aktiivselt.

Kas see on lõpp? Kübervõrgud on seisma jäänud?

Ei ole teada. Aga loomulikult loodavad kõik, et ei ole.

On palju lähenemisviise ja suundi nende fundamentaalsete probleemide lahendamiseks, mida ma eespool käsitlesin. Kuid seni ei ole ükski neist lähenemistest võimaldanud teha midagi fundamentaalselt uut, lahendada midagi, mis ei ole seni lahendatud. Seni kõik fundamentaalsed projektid on tehtud stabiilsete lähenemiste põhjal (Tesla), või jäävad need katsetusprojektideks instituutide või korporatsioonide (Google Brain, OpenAI) jaoks.

Rääkides kõvasti, siis peamine suund on teatud kõrgema tasandi esitus sisendandmetest. Teatud mõttes “mälu”. Lihtsaim näide mälust on erinevad “Embedding” — piltide esitused. Näiteks kõik näotuvastussüsteemid. Võrk õpib saama näost mõningast stabiilset esitatust, mis ei sõltu pöördest, valgustusest, resolutsioonist. Sisuliselt minimiseerib võrk mõõdistust “erinevad näod — kaugel” ja “ühesugused — lähedal”.

Selleks õpetamiseks on vaja kümneid ja sadu tuhandeid näiteid. Kuid tulemus kannab endas teatud algseid jooni “One-shot Learning”. Nüüd ei ole meil vaja sadu nägusid, et inimest meeles pidada. Ainult üks nägu ja kõik — me tunneme ära!
Aga probleem on… Võrk suudab õppida ainult piisavalt lihtsaid objekte. Proovides eristada mitte nägusid, vaid näiteks “inimest riiete järgi” (ülesanne Re-identification) — kvaliteet kukub mitme järgu võrra. Ja võrk ei suuda enam õppida piisavalt ilmselgeid vaatenurga muutusi.

Ja õppida miljonitest näidetest — on samuti kuidagi üsna vaevarikas.

On teoseid märkimisväärse valimite vähendamise kohta. Näiteks võib kohe meenuda üks esimesi töid OneShot Learning Google'ilt:

Selliseid teoseid on palju, näiteks 1 või 2 või 3.

Miinus üks – tavaliselt töötab õpe hästi lihtsate, "MNISTi" näidete korral. Kuid keerukamate ülesannete korral on vaja suurt baasi, objektimudelit või mingit võlu.
Üldiselt on One-Shot õpe väga huvitav teema. Leiad palju ideid. Kuid suurem osa neist kahest probleemist, mida mainisin (enneõppimine tohutu andmestiku peal / keerulistel andmetel ebastabiilsus) segab õppetööd tõsiselt.

Teisest küljest sobivad Embedding teema jaoks GAN’id – genereerivad vastasvõrgud. Olete kindlasti lugenud selle kohta palju artikleid Habr’s.1, 2,3)
GANide eripära on mingisuguse sisemise olekute ruumi (sisuliselt sama, mis Embedding) loomine, mis võimaldab joonistada pilti. Need võivad olla näod, need võivad olla tegevused.

GANide probleem on see, et mida keerulisem on genereeritav objekt, seda keerulisem on seda kirjeldada "genereerija-diskrimineerija" loogikas. Seetõttu on ainus tuntud rakendus GAN-ide jaoks DeepFake, mis samuti manipuleerib näo esitlusega (millest on tohutu andmebaas).

Teisi kasulikke rakendusi olen kohanud üliharva. Tavaliselt on need lihtsalt mingid asjad piltide täiendamiseks.

Ja taas, kellelgi pole arusaamist, kuidas see võiks meid viia valgusesse tulevikku. Loogika/esitluse mõistmine neuronivõrgus on hea. Kuid vajame tohutult näiteid, me ei saa aru, kuidas neuronivõrk seda endas esitab, me ei saa aru, kuidas panna neuronivõrk meelde jätma mõnda tegelikult keerulist esitust.

Reinforcement learning on täiesti teise nurga alt lähenemine. Te kindlasti mäletate, kuidas Google võitis kõiki Go mängus. Hiljutised võidud Starcraftis ja Dota’s. Kuid siin pole kõik kaugeltki nii roosiline ja lootustandev. Parim selgitus RL ja selle raskuste kohta on see artikkel.

Kui autorit kokku võtta, siis

• Lahendused karbis ei sobi / töötavad enamasti halvasti
• Praktilisi ülesandeid on lihtsam lahendada muude meetoditega. Boston Dynamics ei kasuta RL-i selle keerukuse / ettearvamatuse / arvutuste keerukuse tõttu
• Kuna RL tööle hakkab – on vaja keerulist funktsiooni. Tihti on selle loomine / kirjutamine keeruline.
• Mudelite õpetamine on keeruline. Tuleb kulutada palju aega, et need loksutada ja välja tuua kohalikest optimaalseist.
• Seetõttu on modelleerimine keeruline, mudeli ebastabiilsus väiksemate muudatuste korral.
• Tihti satub see liiga tihedalt mingitesse vale seaduspärasustesse, isegi juhuslike arvugeneraatoriteni välja.

Oluline punkt on see, et RL ei tööta hetkel tootmises. Google'il on mingid eksperimendid ( 1, 2 ). Kuid ma ei ole näinud ühtegi tootmisse suunatud süsteemi.

Mälu. Kõik, mis eelpool on toodud, näitab, et struktuuritus on probleem. Üks lähenemine, kuidas seda püüda korrastada, on anda närvivõrgule juurdepääs eraldi mälule. Nii saab ta tulemusi salvestada ja üle kirjutada. Siis saab närvivõrk määratleda oma seisundi praeguse mälu järgi. See on väga sarnane klassikaliste protsessorite ja arvutitega.

Kõige kuulsam ja populaarsem artikkel — DeepMindist:

Tundub, et see on mõistmise võti? Kuid pigem mitte. Süsteem vajab ikkagi tohutut andmemassi treenimiseks. Ja see töötab enamasti struktureeritud tabelandmetega. Samal ajal, kui Facebook lahendas samalaadset probleemi, läksid nad teed "unustame mälestuse, teeme lihtsalt närvivõrgu keerulisemaks ja toome rohkem näiteid - ja ta õpib ise."

Disentanglement. Teine viis tähendusrikka mälu loomiseks on võtta samad sisendandmed, kuid treenimisel sisestada täiendavad kriteeriumid, mis võimaldaksid nendes "tähendusi" eristada. Näiteks kui soovime õpetada närvivõrku eristama inimese käitumist poes. Kui me järgiksime standaardset teed - peaksime tegema kümneid võrke. Üks otsib inimest, teine määrab, mida ta teeb, kolmas tema vanuse, neljas - soo. Eraldi loogika jälgib osa poest, kus ta teeb \/ õpib selle kallal. Kolmas määrab tema trajektoori jne.

Või kui oleks lõputult andmeid, võiks ühe võrgu õpetada kõigi võimalike tulemuste osas (ilmselgelt ei saa sellist andmemassi kokku korjata).

Disentlement approach tells us — let’s train the network so that it can distinguish concepts by itself. To have it create an embedding from video, where one area defines actions, one defines positions on the floor in time, one indicates a person's height, and another identifies their gender. Meanwhile, during training, we would like to provide minimal hints about these key concepts and let the network itself highlight and group areas. There are not many articles on such topics (some of them 1, 2, 3) and overall they are quite theoretical.

However, this direction, at least theoretically, should address the problems mentioned at the start.

Decomposing the image by parameters “wall color/floor color/object shape/object color/etc.”

Decomposing the face by parameters “size, eyebrows, orientation, skin color, etc.”

Muud

There are many other less global directions that allow for some reduction of databases, working with more heterogeneous data, etc.

Attention. It probably doesn't make sense to highlight this as a separate method. It’s just an approach that enhances others. There are many articles dedicated to it (1,2,3). The essence of Attention is to enhance the network's response specifically to significant objects during training. Often this is done with some external target guidance or a small external network.

3D simulation. If you create a good 3D engine, it can cover about 90% of training data (I've even seen examples where almost 99% of data was covered by a good engine). There are many ideas and hacks to make a network trained on a 3D engine work with real data (fine-tuning, style transfer, etc.). But often creating a good engine is several orders of magnitude more complex than gathering data. Examples when engines were created:
Robot training (google, braingarden)
Koolitus tuvastamiseks goods in a store (but in the two projects we worked on — we managed without this).
Training at Tesla (again the video mentioned earlier).

Järeldused

The entire article is in some sense conclusions. Probably, the main message I wanted to convey is — 'the free ride is over, neural networks no longer offer simple solutions.' Now, we need to work hard to build complex solutions. Or work hard conducting intricate scientific research.

Overall, the topic is debatable. Perhaps the readers have more interesting examples?

Allikas: habr.com