Kas masinõppe mull on lõhkenud või on see uue koidu algus?

Hiljuti ilmus artikkel, mis näitab üsna hästi viimaste aastate masinõppe suundi. Lühidalt: masinõppe startupide arv on viimase kahe aasta jooksul järsult vähenenud.

Noh. Räägime, kas „mull on lõhkenud“, „kuidas edasi elada“ ja arutame, kust see üldse selline olukord tekkis.

Alustame sellest, mis oli selle kõveriku tõukeks. Kust see tekkis. Kindlasti meenuvad kõik võit masinõppes 2012. aastal ImageNeti konkursil. See oli ju esimene globaalne sündmus! Kuid reaalsus pole selline. Ja tõusu kõver hakkab põhimõtteliselt mõni aeg varem. Jagaksin selle mitmeks hetkeks.

1. 2008. aasta on termin „suured andmed“. Reaalsed tooted hakkasid ilmuma alates 2010. aastast. Suured andmed on tihedalt seotud masinõppega. Ilma suurte andmeteta ei saa algoritmid, mis toona olemas olid, stabiilselt töötada. Ja need pole isegi närvivõrgud. Enne 2012. aastat olid närvivõrgud marginaalse vähemuse pärusmaa. Küll aga hakkasid tööle hoopis teised algoritmid, mis olid olemas juba aastaid või isegi aastakümneid: SVM(1963,1993 aastad), Random Forest (1995), AdaBoost (2003),… selle ajastu idufirmad on peamiselt seotud struktureeritud andmete automaatse töötlemisega: kassad, kasutajad, reklaam ja palju muud.

   Selle esialgse laine järgud on raamistikud nagu XGBoost, CatBoost, LightGBM jne.

2. 2011-2012 aastal konvolutsioonilised närvisüsteemid võitsid mitmeid konkursse piltide tuvastamise alal. Nende tegelik kasutamine venis mõnevõrra. Ütleksin, et massiliselt mõistetavad idufirmad ja lahendused hakkasid ilmuma 2014. aastal. Kaks aastat kulus selleks, et seedida, et neuronid tõepoolest töötavad, luua mugavad raamistikud, mida oli võimalik paigaldada ja käivitada mõistliku aja jooksul, ning välja töötada meetodid, mis stabiliseeriksid ja kiirendaksid konvergentsi aega.

   Konvolutsioonilised võrgud võimaldasid lahendada masinõppe nägemisülesandeid: piltide ja pildil olevate objektide klassifitseerimine, objektide ja inimeste tuvastamine, piltide parandamine jne.

3. 2015–2017. Algoritmide ja projektide buum, mis põhines rekursiivsetel võrkudel või nende analoogidel (LSTM, GRU, TransformerNet jne). Tekkisid hästi töötavad "kõne-tekstiks" algoritmid ja masintõlke süsteemid. Osaliselt põhinevad need konvolutsioonivõrkudel, et eristada põhiomadusi, ja osaliselt sellel, et oleme õppinud koguma tõeliselt suuri ja kvaliteetseid andmestikke.

"Mull lõhkes? Hype on üle kuumenenud? Kas nad on surnud nagu plokiahel?"
Küll! Homme lõpetab teie telefonis Siri töötamise, ja ülehomme ei saa Tesla eristada pööramist kengurust.

Neuraalvõrgud töötavad juba. Need on kümnetes seadmetes. Need võimaldavad tõeliselt teenida, muutes turgu ja ümbritsevat maailma. Hüpe näeb välja pisut erinev:

Lihtsalt neuraalvõrgud ei ole enam midagi uut. Jah, paljude inimeste ootused on liiga kõrged. Kuid suur hulk ettevõtteid on õppinud neid rakendama ja tegema nende põhjal tooteid. Neuraalvõrgud pakuvad uusi funktsioone, võimaldavad vähendada töökohti ja alandada teenuste hindu:

• Tootmisettevõtted integreerivad algoritme defektide analüüsimiseks tootmisliinil.
• Loomakasvatustalud ostavad süsteeme lehmade jälgimiseks.
• Automaatilised kombainid.
• Automatiseeritud kõnekeskused.
• Filtrid SnapChat'is. (kuid vähemalt midagi kasulikku!)

Aga kõige olulisem ja mitte kõige ilmsem: „Uusi ideid pole enam, või nad ei tooda kohest kapitali.” Neuraalsed võrgud on lahendanud kümneid probleeme. Ja lahendavad veelgi rohkem. Kõik ilmsed ideed, mis olid — on tootnud hulgaliselt idufirmasid. Kuid kõik, mis oli pinnal — on juba ära koristatud. Viimase kahe aasta jooksul ma ei ole kohanud ühtegi uut ideed neuraalsete võrkude rakendamiseks. Ühtegi uut lähenemist (noh, okei, seal on natuke GAN-idega probleeme).

Ja iga järgmine idufirma muutub aina keerulisemaks. See ei nõua enam kahte kutti, kes koolitavad neuraalvõrku avatud andmetega. See nõuab programmeerijaid, serverit, märgistamismeeskonda, keerulist tuge jne.

Tulemuseks on — idufirmade arv väheneb. Kuid tootmine suureneb. Kas on vaja autode numbrite tuvastamist? Turul on sadu spetsialiste, kellel on asjakohane kogemus. Saate palgata ja paarikuuga teie töötaja loob süsteemi. Või osta valmis lahendus. Aga teha uut idufirmat?.. Hullumeelsus!

Külastajate jälgimise süsteem on vajalik — miks maksta hunnikute litsentse, kui oma süsteemi saab 3-4 kuuga luua ja kohandada oma ettevõtte jaoks.

Praegu läbivad närvivõrgud sama teed, mida on läbinud kümned teised tehnoloogiad.

Kas mäletate, kuidas 1995. aastast alates on muutunud mõisted "veebiarendaja"? Turg ei ole täis spetsialiste. Professionaale on väga vähe. Kuid ma julgen väita, et 5-10 aasta pärast ei ole suurt vahet Java programmeerija ja närvivõrkude arendaja vahel. Nii ühte kui teist spetsialisti on turul piisavalt.

Klass ülesandeid, mille jaoks närvivõrgud töötavad, tuleb lihtsalt. Kui tekib probleem — palgate spetsialisti.

„Aga mis edasi? Kus on lubatud tehisintellekt?”

Siin on väike, kuid huvitav segadus :)

Oluline tehnoloogia, mis meil täna on, ei vii meid ilmselt tehisintellekti. Ideed ja nende uuenduslikkus on suurel määral ammendunud. Räägime sellest, mis hoiab praegust arengutaset.

Piirangud

Alustame isesõitvate autodega. Tundub, et täisautonoomsete autode valmistamine kaasaegsete tehnoloogiate abil on võimalik. Kuid kui palju aastaid selle saavutamiseks kulub, on ebaselge. Tesla usub, et see juhtub paari aasta pärast —

On palju teisi spetsialiste, kes hindavad seda viis kuni kümme aastat.

Tõenäoliselt, minu arvates, muutub linna infrastruktuur umbes 15 aasta pärast nii, et isesõitvate autode ilmumine muutub vältimatuks ja saab selle jätkuks. Kuid seda ei saa pidada intelligentsuseks. Kaasaegne Tesla on väga keeruline andmete filtreerimise, otsimise ja ümberkoolitamise konveier. Need on reeglid-reeglid-reeglid, andmete kogumine ning filtrid üle nende (siin siin olen sellest lähemalt kirjutanud, või vaata sellest märgist).

Esimene probleem

Ja just siin näeme esimest fundamentaalset probleemi. Suured andmed. See on just see, mis on põhjustanud praeguse laine neuronvõrkude ja masinõppe arengus. Praegu, et midagi keerulist ja automaatset teha, on vaja palju andmeid. Mitte lihtsalt palju, vaid väga-väga palju. On vajalikud automatiseeritud algoritmid nende kogumiseks, sildi panemiseks ja kasutamiseks. Kui soovime, et masin näeks kaupa päikese vastu — peame esmalt koguma piisavalt andmeid. Kui soovime, et masin ei läheks segi jalgrattaga, mis on kinnitatud pagasiruumi — vajame rohkem proove.

Lisaks ei piisa ühest näitest. Sadu? Tuhandeid?

Teine probleem

Teine probleem — visualiseerimine sellest, mida meie neuronvõrk mõistis. See on väga keeruline ülesanne. Siiani mõistab seda vaid vähesed. Need artiklid on üsna värsked, see on vaid mõned näited, isegi kui nad on kaugel:
Visualiseerimine tekstuuridele keskendumine. Näitab hästi, millele neuronvõrk kipub keskenduma + mida ta tajub alginfouna.

Visualiseerimine tähelepanu tõlgetes. Tõelist tähelepanu saab sageli kasutada selleks, et näidata, mis põhjustas sellise reaktsiooni võrgus. Olen selliseid asju kohanud nii silumiseks kui ka tootelahendustes. Sellel teemal on palju artikleid. Kuid mida keerulisemad andmed, seda keerulisem on mõista, kuidas saavutada stabiilne visualiseerimine.

Ja jah, vana hea komplekt, mis sisaldab "vaata, mis on võrgu sees, filtrites". Need pildid olid populaarsed umbes 3-4 aastat tagasi, kuid kõik mõistsid kiiresti, et need on ilusad, kuid nende sisus pole palju mõtet.

Ma ei maininud kümneid teisi naljakate tööriistu, meetodeid, häkke, uuringute tulemusi, kuidas võrgu sisemisi aspekte visualiseerida. Kas need tööriistad töötavad? Kas need aitavad kiiresti mõista, milles probleem on ja võrku siluda?.. Viimased protsendid kätte saada? Noh, umbkaudne järgnevalt:

Võite vaadata ükskõik millist Kaggle'i konkursi. Ja kirjeldust, kuidas inimesed teevad lõplikke lahendusi. Olime kogunud 100-500-800 miljonit mudelit ja see hakkas tööle!

Ma muidugi liialdan. Kuid need lähenemised ei paku kiireid ja otseseid vastuseid.

Olles piisavalt kogemusi, erinevaid variante katsetades on võimalik jõuda järeldusele, miks teie süsteem nii otsustas. Kuid süsteemi käitumise parandamine on keeruline. Tuleb rakendada ajutine lahendus, tõsta künnist, lisada andmeset ja valida teine tagala.

Kolmas probleem

Kolmas fundamentaalne probleem — võrgud ei õpeta loogikat, vaid statistikat. Statistiliselt see nägu:

Loogiliselt ei tundu see eriti sarnane. Neurovõrgud ei õpi midagi keerulist, kui neid ei sunnita. Nad õpivad alati maksimaalset lihtsust. On silmad, nina, pea? Siis on see nägu! Tuleb tuua näide, kus silmad ei tähenda nägu. Ja taas — miljoneid näiteid.

All on palju ruumi

Ütleksin, et just need kolm globaalset probleemi piiravad seni neurovõrkude ja masinõppe arengut. Ja seal, kus need probleemid ei piiranud — on juba aktiivselt kasutusel.

Kas see on lõpp? Neurovõrgud on peatunud?

Ei ole teada. Kuid kindlasti loodavad kõik, et ei ole.

On olemas palju lähenemisviise ja suundi nende fundamentaalsete probleemide lahendamiseks, millest ma ülal rääkisin. Siiski ei ole ükski neist lähenemistest seni suutnud tuua midagi tõeliselt uut, lahendada midagi, mis on olnud lahendamata. Praegu põhinevad kõik fundamentaalsed projektid stabiilsetel lähenemisviisidel (Tesla) või jäävad institutsioonide või ettevõtete (Google Brain, OpenAI) katseprojektideks.

Rohkem öeldes on peamine suund sissetulevate andmete mõningate kõrgema taseme esitlemiste loomine. Teatud mõttes nagu "mälu". Lihtsaim näide mälust on erinevad "Embedding" — pildiesitlused. Näiteks kõik näotuvastussüsteemid. Võrgustik õpib, kuidas saada näost stabiilne esitus, mis ei sõltu pöörlemisest, valgustusest, eraldusvõimest. Sisuliselt minimeerib võrk mõõdikut "erinevad näod — kaugel" ja "sarnased — lähedal".

Selliseks õppimiseks on vajalik kümneid ja sadu tuhandeid näiteid. Sellegipoolest kannab tulemus endas teatud elemendi "One-shot Learning". Nüüd ei ole meil vaja sadu nägusid, et inimest meelde jätta. Ainult üks nägu, ja kõik — me tunneme ära!
Kuid on üks probleem… Võrk suudab õppida ainult piisavalt lihtsaid objekte. Kui proovida eristada mitte nägusid, vaid näiteks "inimesi nende riiete järgi" (ülesanne Uuesti identifitseerimine) — kvaliteet langeb mitu korda. Ja võrk ei suuda enam õppida piisavalt ilmselgeid vaatenurga muutusi.

Ja õppida miljonite näidete pealt — see on ka kuidagi nii ja naa.

On uurimistöid, mis aitavad oluliselt vähendada valikute arvu. Näiteks võib kohe meenutada ühte esimest tööd OneShot Learning Google'ilt:

Selliseid töid on palju, näiteks 1 või 2 või 3.

Miinus on see, et tavaliselt õpe töötab hästi mõne lihtsa, "MNIST'i tüüpi näite" pealt. Aga keeruliste ülesannete korral on vaja suurt andmebaasi, objekti mudelit või mingit maagiat.
Üldiselt on One-Shot õppimise uurimistööd väga huvitav teema. Leiad palju ideid. Kuid enamasti segavad õppimist kaks probleem, mille ma välja tõin (enne õpetamine tohutu andmebaasi pealt / ebastabiilsus keerulistel andmetel).

Teiselt poolt sobivad Embedding'i teemaga GAN — generatiivsed vastandsüsteemid. Olete tõenäoliselt lugenud Habras palju artikleid selle kohta. (1, 2,3)
GANi omadus on teatud sisemise olekuruumi loomine (sisuliselt sama kui Embedding), mis võimaldab luua pilti. Need võivad olla näod, need võivad olla tegevused..

GANi probleem on see, et mida keerulisem on genereeritud objekt, seda keerulisem on seda kirjeldada "generaatoreidiskriminaator" loogikas. Tulemuseks on see, et reaalsetes rakendustes, mis on tuntud - ainult DeepFake, mis jällegi manipuleerib näo esindustega (kelle jaoks on olemas tohutu andmebaas).

Teisi kasulikke rakendusi olen kokku puutunud väga harva. Reeglina on need mingid mängulised asjad piltide lisamisega.

Ja jälle, keegi ei tea, kuidas see aitab meid liikuda helgele tulevikule. Neuraalvõrgus loogika/esinduse esitlemine on hea. Kuid vajame tohutut arvu näiteid, me ei saa aru, kuidas neuronid selle endas esindavad, me ei saa aru, kuidas sundida neuronit meelde jätma mõnda tõeliselt keerulist esindust.

Tugevdamise õppimine — see on tõeline lähenemine. Kindlasti mäletate, kuidas Google kõigist ette jõudis Go mängus. Viimased võidud Starcraftis ja Dotas. Kuid siin ei ole asjad sugugi nii roosilised ja lootustandvad. Kõige paremini räägib RL-i ja selle keerukustest see artikkel.

Kokkuvõtlikult, mida autor on kirjutanud:

• Karbist välja pakutavad mudelid ei sobi / töötavad enamasti halvasti
• Praktiliste probleemide lahendamine on lihtsam muude meetoditega. Boston Dynamics ei kasuta RL-i selle keerukuse / ettearvamatu iseloomu / arvutuskeerdkäikude tõttu
• Et RL töötaks — on vajalik keeruline funktsioon. Sageli on selle loomine / kirjutamine keeruline
• Mudeleid on keeruline koolitada. Peab kulutama hulganisti aega, et neid välja raputada ja kohalikke optimeeringuid ületada
• Seetõttu on raske mudelit korrata, mudel on ebastabiilne vähimatki muutuste korral
• Tihti toimub üleõpe mingite valede korrapärasuste peale, kuni juhuslike numbrite generaatorini

Peamine probleem on see, et RL ei tööta veel tootmiskeskkonnas. Google'il on mõned eksperimentaalsed projektid ( 1, 2 ). Aga ma ei ole näinud ühtegi toote süsteemi.

Mälu. Kõik ülaltoodud puudused — struktuuritus. Üks lähenemisviise, kuidas üritatakse seda korrastada, on anda närvivõrgule juurdepääs eraldi mälule. Nii saab see sinna oma samme salvestada ja üle kirjutada. Sel juhul saab närvivõrk määratleda hetke mälu seisundi. See sarnaneb väga klassikaliste protsessorite ja arvutitega.

Kõige tuntum ja populaarsem artikkel — DeepMindi poolt:

Kas see ongi võti intelligentsuse mõistmiseks? Tõenäoliselt mitte. Süsteem vajab ikkagi tohutut andmekogumit treenimiseks. Ja see töötab peamiselt struktureeritud tabelandmetega. Samal ajal, kui Facebook lahendas sarnase probleemi, otsustasid nad, et "unustame mälu, teeme lihtsalt keerukama närvivõrgu ja toome rohkem näiteid — ning see õpib iseseisvalt."

Eraldamine. Teine viis luua tähenduslik mälu on võtta samad embedid, kuid treenimise käigus lisada täiendavad kriteeriumid, mis aitaksid eristada “mõtteid”. Näiteks soovime õpetada närvivõrku tuvastama inimese käitumist poes. Kui me järgiksime standardset lähenemist, peaksime looma kümneid erinevaid võrke. Üks otsib inimest, teine määrab, mida ta teeb, kolmas tema vanuse, neljas — soo. Eraldi loogika jälgib, millises poepooles ta on või õppimas. Kolmas määrab tema trajektoori jne.

Või, kui andmeid oleks lõputult, saaks ühte võrku õpetada kõikvõimalike väljundite jaoks (ilmne, et sellist andmemassiivi ei oleks võimalik koguda).

Dizaintegmenti lähenemine ütleb meile, et koolitame võrku nii, et ta suudab iseseisvalt eristada mõisted. Et ta videost looks embeding'i, kus üks ala määratleks tegevuse, teine — positsiooni maa peal ajas, kolmas — inimese pikkuse ja veel üks — tema soo. Koolitamise käigus sooviksin, et võrku ei tuleks peaaegu mitte üldse juhendada selliste võtmemõistetega, vaid et ta ise eristaks ja grupeeriks alasid. Taolisi artikleid on suhteliselt vähe (mõned neist 1, 2, 3) ja üldiselt on need üsna teoreetilised.

Kuid see suund, vähemalt teoreetiliselt, peaks lahendama loetletud algprobleeme.

Pildi jaotamine parameetrite järgi „seina värv / maa värv / objekti kuju / objekti värv / jne“

Näo jaotamine parameetrite järgi „suurus, kulmud, orientatsioon, nahatooni värv jne“

Muud

On palju teisi mitte nii globaalseid suundi, mis võimaldavad vähendada andmebaase, töötada mitmekesisemate andmetega jne.

Attention. Tõenäoliselt pole mõtet seda eraldi meetodina välja tuua. Lihtsalt lähenemine, mis tugevdab teisi. Talle on pühendatud palju artikleid (1,2,3). Tähendus Attentionist on see, et tugevdada võrgu reaktsiooni just oluliste objektide suhtes koolitamise käigus. Sageli toimub see mingi välist suunamise või väikese välimise võrgu kaudu.

3D-simulaator. Kui luua hea 3D-mootor, siis suudab see sageli katma 90% koolitusandmest (olen isegi näinud näidet, kus peaaegu 99% andmetest katab hea mootori). On palju ideid ja nippe, kuidas sundida võrku, mis on koolitatud 3D-mootoril, töötama reaalse andmete peal (Fine tuning, style transfer jne). Kuid sageli on hea mootori loomine mitu korda keerulisem kui andmete kogumine. Näiteid mootori loomise kohta:
Robotite koolitus (google, braingarden)
Koolitus tuvastamise kaupade jaoks poes (aga kahes projektis, mida me tegime — saime sellest rahulikult mööda).
Koolitus Tesla's (taas see video, mis oli üleval).

Järeldused

Kogu artikkel on mingil määral kokkuvõte. Ilmselt on peamine sõnum, mida ma tahtsin edastada — „tasuta lõpp, neuronvõrgud ei paku enam lihtsaid lahendusi“. Nüüd tuleb vaeva näha, ehitades keerulisemaid lahendusi. Või teha keerulisi teadusuuringute uuringuid.

Aga üldiselt on teema arutamiseks. Võib-olla on lugejatel huvitavamaid näiteid?

Allikas: habr.com