Töötame närvivõrkudega: tõrkeotsingu kontrollnimekiri

Masinõppe tarkvara kood on sageli keeruline ja üsna segane. Veaparandamine on ressursimahukas ülesanne. Isegi lihtsaimad otsese ühendusega närvivõrgud nõuavad tõsist lähenemist võrguehitusele, kaalude initsialiseerimisele ja võrgu optimeerimisele. Väike viga võib põhjustada ebameeldivaid probleeme.

See artikkel käsitleb teie närvivõrkude tõrkeotsimisalgoritmi.

Skillbox soovitab: Praktiline kursus Python-arendaja algusest peale.

Tuletame meelde: kõigile «Habra» lugejatele — 10 000 rubla soodustus, kui registreerite end Skillboxi mis tahes kursusele promokoodi «Habr» abil.

Algoritm koosneb viiest etapist:

• lihtne algus;
• kahjude kinnitamine;
• vaheide ja ühenduste kontrollimine;
• parameetrite diagnoosimine;
• töö jälgimine.

Kui midagi tundub teile huvitavam kui muu, võite kohe nendele osadele üle minna.

Lihtne algus

Kompleksse arhitektuuri, regulatsioonide ja õpikiirusete plaanijaga närvivõrgu tõrkeotsimine on keerulisem kui tavalise. Siinkohal oleme natuke kavalad, kuna see punkt on tõrkeotsimisega kaudselt seotud, kuid see on ikkagi oluline soovitus.

Lihtne algus seisneb lihtsustatud mudeli loomises ja selle õpetamises ühes andmekogumis (punktis).

Esiteks loome lihtsustatud mudeli

Kiireks tutvustamiseks loome väikese võrgu ühe peidetud kihiga ja kontrollime, et kõik töötab korralikult. Seejärel täiustame mudelit järk-järgult, kontrollides iga uue elemendi (täiendava kihi, parameetri jne) struktuuri ning liikume edasi.

Treena mudelit ühes andmekogumis (punktis)

Kiireks toimivuse kontrollimiseks võite kasutada ühe või kahe andmepunkti treenimiseks, et kinnitada, kas süsteem töötab õigesti. Tehisnärvivõrk peaks näitama 100% täpsust treeningul ja testimisel. Kui see nii ei ole, siis on mudel liiga väike või teil on juba bugi.

Isegi kui kõik on hästi, valmistage mudel ette ühe või mitme epohhi läbimiseks, enne kui edasi liigute.

Kao hindamine

Kao hindamine on peamine viis mudeli toimivuse täpsustamiseks. Peate veenduma, et kadu vastab ülesandele ja kaohinnangud on õigel skaalal. Kui kasutate rohkem kui ühte kaotuse tüüpi, siis veenduge, et need oleksid kõik samas suurusjärgus ja õigesti skaleeritud.

Oluline on olla tähelepanelik algsete kaotuste suhtes. Kontrollige, kui lähedal on tegelik tulemus oodatule, kui mudel alustas juhuslikult. V Andrei Karpatise töös on ette nähtud järgmist: «Veenduge, et saate tulemuse, mida eeldatakse, kui alustate väikese arvu parameetritega. On parem kohe kontrollida andmete kadu (seades regulatsioonitaseme nulli). Näiteks CIFAR-10 jaoks Softmax klassifikaatoriga ootame, et algsed kaotused oleksid 2.302, kuna oodatud difuusne tõenäosus on 0,1 iga klassi kohta (kuna klasside arv on 10), ning Softmaxi kadu on korrektse klassi negatiivne logaritmiline tõenäosus, nagu –ln (0.1) = 2.302».

Binaarse näite korral teostatakse sarnane arvutus iga klassi kohta. Näiteks on andmed: 20% 0’s ja 80% 1’s. Oodatav algne kadu on kuni –0,2ln (0,5) –0,8ln (0,5) = 0,693147. Kui tulemus on üle 1, võib see viidata sellele, et närvivõrgu kaalukesed ei ole korralikult tasakaalustatud või andmed ei ole normaliseeritud.

Kontrollime vahepealseid tulemusi ja ühendusi

Neurovõrkude tõrkeotsinguks on oluline mõista protsesside dünaamikat võrgu sees ja üksikute vahekihtide rolli, kuna need on omavahel seotud. Allpool on tüüpilised vead, millega võite kokku puutuda:

• vale väljendid gradientide uuendamiseks;
• kaaluuuendusi ei rakendata;
• kadumas või plahvatavad gradientid (exploding gradients).

Kui gradientide väärtused on null, tähendab see, et õppimiskiirus optimeerijas on liiga madal, või et olete kokku puutunud vale väljendiga gradientide uuendamiseks.

Lisaks on oluline jälgida aktiveerimisfunktsioonide, kaalude ja iga kihi uuenduste väärtusi. Näiteks, parametrimäärade (kaalude ja tõukude) uuenduste suurus peaks olema 1-e3..

Eksisteerib nähtus, mida kutsutakse 'Dying ReLU' või «kaduma kippuva gradientide probleemiks», kui ReLU neuronid annavad pärast suurt negatiivset väärtust (bias) oma kaalude kohta nulli. Need neuronid ei aktiveeru enam kunagi üheski andmekohas.

Saate gradientide kontrolli kasutada nende vigade tuvastamiseks, hinnates gradienti numbrilise lähenemise abil. Kui see on lähedane arvutatud gradientidele, siis on tagasikandmine õigesti teostatud. Gradientide kontrollimise loomiseks vaadake neid suurepäraseid ressursse CS231-st. siit ja siit, ning õppetundi Andrew Nga kohta selle teema osas.

Faizan Sheikh toob esile kolm peamist meetodit närvivõrgu visualiseerimiseks:

• Eelväljad — lihtsad meetodid, mis näitavad meile koolitatud mudeli üldstruktuuri. Need hõlmavad individuaalsete kihtide neuronite või filtrite väljundite ja iga kihi parameetrite kuvamist.
• Aktiveerimise alusel. Nendes tõlgime individuaalsete neuronite või neuronigruppide aktiveerimisi, et mõista nende funktsioone.
• Gradientide alusel. Need meetodid kipuvad manipuleerima gradientidega, mis tekivad mudeli koolitamise käigus (sealhulgas tähenduskaardid ja klassi aktiveerimise kaardid).

On mitmeid kasulikke tööriistu, mis visualiseerivad kihtide aktiveerimisi ja ühendusi, näiteks ConX ja Tensorboard.

Parameetrite diagnoosimine

Neuraalsetel võrkudel on palju parameetreid, mis omavahel suhtlevad, mis muudab optimeerimise keeruliseks. See jaotis on aktiivsete teadusuuringute objektiks, seega tuleks allpool esitatud soovitusi käsitleda vaid nõuannete ja alguspunktidena, millest alustada.

Paketi suurus (partii suurus) — peaks olema piisavalt suur, et saada täpsed gradientvea hinnangud, kuid piisavalt väike, et stohhastiline gradientne langetamine (SGD) suudaks teie võrku järjekorda seada. Väikesed partii suurused toovad kaasa kiire konvergentsi treeningprotsessi müra tõttu ja hiljem — optimeerimise raskusi. Täiendavat teavet leiate siit siit.

Õppekiirus — liiga madal viib aeglasele konvergentsile või riskile jääda kinni kohalikesse miinimumitesse. Samal ajal põhjustab kõrge õppekiirus optimeerimise hajumist, kuna te riskite „hüppama” sügavale, kuid kitsale kaotuse funktsiooni osale. Proovige kasutada kiirusplaneerimist, et õppimise ajal seda vähendada. CS231n kursusel on suur osa, mis käsitleb seda teemat.

Gradientide piiramine  — gradientide piiramine tagasikandmise ajal maksimaalse väärtuse või piirmäära järgi. See on kasulik, kui satute kokku plahvatuvate gradientidega, nagu mainitud kolmandas punktis.

Partii normaliseerimine — kasutatakse iga kihi sisendi normaliseerimiseks, mis aitab lahendada sisemist kovariatsioonimuutust. Kui kasutate koos Dropout'i ja Batch Normalization'i, vaadake seda artiklit.

Stohhastiline gradientide langetamine (SGD) — on mitmeid SGD variante, mis kasutavad impulssi, kohandatud õppimiskiirus ja Nesterovi meetodit. Kuid ükski neist ei oma selget eeliseid ei õppimise efektiivsuse ega üldistamise osas (rohkem teavet siin).

Regulaarimine — on hädavajalik üldistava mudeli ehitamiseks, kuna see lisab karistuse mudeli keerukuse või äärmuslike parameetrite väärtuste eest. See on viis vähendada mudeli dispersiooni ilma selle kaldena oluliselt suurenemist. Üksikasjalikuma teabe saamiseks — vaadake siia.

Kuna ise kõike hinnata, tuleb regulaarimine välja lülitada ja kontrollida andmete kadumise gradienti ise.

Kukkumine — veel üks meetod teie võrgu organiseerimiseks ülekoormuse vältimiseks. Koolituse ajal toimub kukkumine, säilitades neuroni aktiivsuse mingi tõenäosusega p (hüperparameeter) või seades selle nulliks vastasel juhul. Tulemuseks on, et võrk peab kasutama iga õppepartii jaoks teistsugust parameetrite alamkogumit, mis vähendab teatud parameetrite muutusi, mis võivad domineerivaks muutuda.

Oluline: kui kasutate samaaegselt nii kukkumist kui ka partii normaliseerimist, olge ettevaatlik nende toimingute järjekorra või isegi kooskasutamise osas. Kõike seda arutatakse ja täiendatakse endiselt aktiivselt. Siin on kaks olulist arutelu selle teema kohta Stackoverflowis ja Arxiv.

Töötamise kontroll

Tegemist on tööprotsesside ja katsete dokumenteerimisega. Kui mitte midagi ei dokumenteerida, võib ununeda näiteks, milline on kasutatav õppimiskiirus või klasside kaalud. Kontrolli abil on võimalik probleemideta vaadata ja korrata varasemaid katseid. See võimaldab vähendada dubleeritud katsete arvu.

Tõsi, käsitsi dokumenteerimine võib osutuda keeruliseks, kui tööde maht on suur. Siinkohal tulevad appi sellised tööriistad nagu Comet.ml, mis aitavad automaatselt logida andme kogu, koodimuudatused, katsete ajaloo ja tootemudeleid, sealhulgas olulisi andmeid teie mudeli kohta (hüperparameetrid, mudeli jõudluse näitajad ja keskkonnaandmed).

Neuraalvõrk võib olla väga tundlik väikeste muudatuste suhtes, mis võib viia mudeli jõudluse languseni. Töö jälgimine ja dokumenteerimine on esimene samm, mille tuleks teha keskkonna ja modelleerimise standardiseerimiseks.

Loodan, et see postitus suudab olla alguspunkt, millest te alustate oma neuraalvõrgu häälestust.

Skillbox soovitab:

• Kaheaastane praktiline kursus „Ma olen PRO veebiarendaja“.
• Veebikursus „C# arendaja algusest peale“.
• Praktiline aastakursus „PHP arendaja algusest PRO-ni“.

Allikas: habr.com