Koodhka alaabada software-ka ee barashada mishiinku inta badan waa mid adag oo aad u jahawareersan. Ogaanshaha iyo baabi'inta cayayaanka ku dhex jira waa hawl kheyraad badan leh. Xataa ugu fudud waxay u baahan yihiin hab dhab ah oo loo wajaho qaab dhismeedka shabakada, bilawga miisaanka, iyo hagaajinta shabakada. Qaladka yar wuxuu u horseedi karaa dhibaatooyin aan fiicneyn.
Maqaalkani waxa uu ku saabsan yahay algorithm si loo tirtiro shabakadaha neerfaha.
Skillbox waxay ku talinaysaa: Koorso wax ku ool ah .
Waxaan xusuusineynaa: dhammaan akhristayaasha "Habr" - qiimo dhimis ah 10 rubles marka la qorayo koorso kasta oo Skillbox ah iyadoo la adeegsanayo koodhka xayeysiinta "Habr".
Algorithm wuxuu ka kooban yahay shan marxaladood:
- bilow fudud;
- xaqiijinta khasaaraha;
- hubinta natiijooyinka dhexdhexaadka ah iyo isku xirka;
- ogaanshaha parameter;
- xakamaynta shaqada.
Haddii wax ay kuugu muuqdaan kuwo kaa xiiso badan inta kale, waxaad isla markiiba u gudbi kartaa qaybahan.
Bilaw fudud
Shabakadda neerfaha oo leh qaab-dhismeed adag, joogtayn, iyo jadwal dejiye heerka waxbarashada ayaa aad u adag in la saxo marka loo eego kan caadiga ah. Waxaan halkan ku yara qallafsan nahay, maadaama barta lafteedu ay si dadban ula xiriirto khaladka, laakiin tani wali waa talo muhiim ah.
Bilaw fudud ayaa ah in la abuuro qaab la fududeeyay oo lagu tababaro hal meel (dhibic) xog ah.
Marka hore waxaan abuurnaa qaab la fududeeyay
Si aad si dhakhso ah u bilawdo, waxaanu abuurnaa shabakad yar oo leh hal lakab oo qarsoon oo hubi in wax walba si sax ah u shaqeeyaan. Kadibna waxaan si tartiib tartiib ah u adkeyneynaa qaabka, anagoo hubineynaa dhinac kasta oo cusub oo dhismeedkiisa ah (lakab dheeraad ah, cabbir, iwm.), oo sii soco.
Waxaan ku tababarnaa qaabka hal go'an oo xog ah
Sida hubinta fayodhowrka degdega ah ee mashruucaaga, waxaad isticmaali kartaa hal ama laba dhibcood xogta tababarka si aad u xaqiijiso in nidaamku si sax ah u shaqeeyo. Shabakadda neerfaha waa inay muujisaa saxnaanta 100% ee tababarka iyo tijaabinta. Haddii tani aysan ahayn xaaladdu, markaa ama qaabku aad ayuu u yar yahay ama waxaad horey u leedahay cillad.
Xitaa haddii wax walba ay wanaagsan yihiin, u diyaari tusaalaha hal ama in ka badan oo wakhti ah ka hor intaadan dhaqaaqin.
Qiimaynta khasaaraha
Qiyaasta luminta waa habka ugu muhiimsan ee lagu sifeeyo waxqabadka moodeelka. Waxaad u baahan tahay inaad hubiso in khasaaruhu uu ku habboon yahay dhibaatada iyo in hawlaha luminta lagu qiimeeyo qiyaasta saxda ah. Haddii aad isticmaashid wax ka badan hal nooc oo khasaare ah, hubi inay dhammaantood isku xigaan oo si sax ah loo miisaamay.
Waa muhiim inaad u fiirsato khasaaraha hore. Hubi sida ay natiijada dhabta ah ugu dhowdahay natiijada la filayo haddii moodelku ku bilaabmay male-awaal aan toos ahayn. IN : "Hubi inaad hesho natiijada aad filayso marka aad ku bilowdo tiro yar oo cabbirro ah. Way fiicantahay in isla markiiba la hubiyo lumitaanka xogta (iyada oo heerka caadiga ah loo dhigay eber). Tusaale ahaan, CIFAR-10 oo leh kala soocida Softmax, waxaanu filaynaa in khasaaraha hore uu noqdo 2.302 sababtoo ah suurtogalnimada faafinta ee la filayo waa 0,1 fasal kasta (maadaama ay jiraan 10 fasal) iyo luminta Softmax waa suurtagalnimada log taban ee fasalka saxda ah sida - ln (0.1) = 2.302."
Tusaalaha binary-ga, xisaabin la mid ah ayaa si fudud loo sameeyaa mid kasta oo ka mid ah fasallada. Halkan, tusaale ahaan, xogtu waa: 20% 0's iyo 80% 1's. Khasaaraha bilowga ah ee la filayo wuxuu noqon doonaa ilaa -0,2ln (0,5) -0,8ln (0,5) = 0,693147. Haddii natiijadu ay ka weyn tahay 1, waxay muujin kartaa in miisaanka shabakada neerfaha aysan si sax ah u dheelitirnayn ama xogta aan caadi ahayn.
Hubinta natiijooyinka dhexe iyo isku xidhka
Si loo saxo shabakada neerfaha, waxaa lagama maarmaan ah in la fahmo dhaqdhaqaaqyada hababka gudaha shabakadda iyo doorka lakabyada dhexe ee shakhsi ahaaneed marka ay isku xiran yihiin. Waa kuwan khaladaadka caadiga ah ee aad la kulmi karto:
- tibaaxaha khaldan ee cusboonaysiinta gradle;
- Cusboonaysiinta miisaanka lama dabaqo;
- jaranjarooyinka qarxa.
Haddii qiyamka gradient-ku uu eber yahay, tani waxay la macno tahay in heerka wax-barashada ee hagaajinta uu aad u gaabis yahay, ama in aad la kulanto odhaah khaldan oo lagu cusboonaysiinayo gradient-ka.
Intaa waxaa dheer, waa lagama maarmaan in la kormeero qiyamka hawlaha firfircoonida, miisaanka iyo cusbooneysiinta mid kasta oo ka mid ah lakabyada. Tusaale ahaan, baaxadda cusboonaysiinta cabbirka (miisaanka iyo eexda) .
Waxaa jira dhacdo la yiraahdo "Dying ReLU" ama , marka ReLU neurons ay soo saari doonaan eber ka dib markii ay bartaan qiime weyn oo xun oo miisaankooda ah. Neurons-yadan weligood dib looma rido mar kasta oo xogta ah.
Waxaad isticmaali kartaa hubinta gradient si aad u aqoonsato khaladaadkan adiga oo ku qiyaasaya jaantuska adigoo isticmaalaya hab tirooyin ah. Haddii ay ku dhowdahay jaangooyooyinka la xisaabiyay, ka dib faafinta si sax ah ayaa loo fuliyay. Si aad u abuurto jeeg gradient, ka eeg ilahan weyn CS231 ΠΈ iyo waliba Andrew Nga mawduucan.
waxay tilmaamaysaa saddex hab oo waaweyn oo lagu sawirayo shabakada neerfaha:
- Horudhacyadu waa habab fudud oo ina tusaya qaabka guud ee qaabka la tababaray. Kuwaas waxaa ka mid ah soo saarista qaababka ama filtarrada lakabyada shakhsi ahaaneed ee shabakada neerfaha iyo xuduudaha lakab kasta.
- Dhaqdhaqaaq ku salaysan Dhexdooda, waxaan ku kala saareynaa dhaqdhaqaaqyada neerfayaasha shaqsiyeed ama kooxaha neerfayaasha si ay u fahmaan shaqadooda.
- Iyada oo ku saleysan gradients. Hababkani waxay u janjeeraan inay wax ka beddelaan jaangooyooyinka laga sameeyay baasaska hore iyo kuwa dambe ee tababbarka moodeelka (ay ku jiraan khariidado saliency ah iyo khariidado firfircoonida fasalka).
Waxaa jira dhowr qalab oo faa'iido leh oo lagu muujinayo dhaqdhaqaaqa iyo isku xirka lakabyada shakhsi ahaaneed, tusaale; ΠΈ .
Baarista cabbirka
Shabakadaha neerfayaasha ayaa leh xaddi badan oo isdhexgal ah, taas oo adkeynaysa hagaajinta. Dhab ahaantii, qaybtani waa mawduuca cilmi-baaris firfircoon oo ay sameeyeen khabiiro, sidaa daraadeed talooyinka hoos ku qoran waa in loo tixgeliyo kaliya talo ahaan, meelaha laga bilaabo kuwaas oo laga dhisayo.
Cabbirka xirmada (xajmiga dufcada) - Haddii aad rabto in cabbirka dufcaddu uu ahaado mid weyn oo ku filan si aad u hesho qiyaasaha qallafsanaanta khaladka saxda ah, laakiin yar oo ku filan faraca stochastic gradient (SGD) si loo habeeyo shabakadaada. Cabbirrada dufcadaha yaryar waxay u horseedi doonaan isku-duubnaan degdeg ah sababtoo ah buuqa inta lagu jiro habka tababarka iyo ka dib dhibaatooyinka hagaajinta. Tan waxaa lagu sifeeyay si faahfaahsan .
Heerka waxbarashada - aad u hooseeya waxay u horseedi doontaa isu-urursi gaabis ah ama khatarta ah inay ku dhegto minima maxalliga ah. Isla mar ahaantaana, heerka waxbarashada sare wuxuu keeni doonaa kala duwanaansho hagaajin sababtoo ah waxaad halis u tahay inaad ka boodo qaybta qoto dheer laakiin cidhiidhiga ah ee shaqada lumis. Isku day inaad isticmaasho jadwalka xawaaraha si aad u yarayso inta aad tababarayso shabakada neerfaha. Ku cusub CS231n .
Goynta si tartiib ahβ - gooynta jaangooyooyinka halbeegyada inta lagu jiro faafinta dhabarka ee qiimaha ugu sarreeya ama heerka xad-dhaafka ah. Faa'iido u leh cilad-baadhista jaranjaro kasta oo qarxa oo aad la kulmi karto barta saddexaad.
Dufcaddii caadiga ahayd - loo isticmaalo in lagu caadiyeeyo xogta gelinta lakab kasta, taas oo noo ogolaanaysa inaan xallino dhibaatada isbeddelka isku-dhafka gudaha. Haddii aad si wada jir ah u isticmaaleysaan Dropout iyo Batch Norma, .
Dhererka istoodhka ee Stochastic (SGD) - waxaa jira dhowr nooc oo SGD ah kuwaas oo adeegsada dardargelinta, heerarka waxbarashada la qabsiga iyo habka Nesterov. Si kastaba ha ahaatee, midkoodna faa'iido cad uma laha marka la eego waxtarka waxbarashada iyo guud ahaan labadaba ().
Joogteynta - waxay muhiim u tahay dhisidda moodal guud, maadaama ay ku darayso ciqaabta kakanaanta moodeelka ama qiimayaasha xad dhaafka ah. Tani waa hab lagu dhimo kala duwanaanshaha moodeelka iyada oo aan si weyn loo kordhin eexdeeda. Wax badan .
Si aad wax walba u qiimayso, waxaad u baahan tahay inaad joojiso habaynta oo aad hubiso lumitaanka xogta naftaada.
Iska daa waa hab kale oo lagu hagaajinayo shabakadaada si looga hortago ciriiriga. Inta lagu jiro tababarka, ka-tagidda waxa lagu fuliyaa kaliya iyada oo la ilaalinayo dhaqdhaqaaqa neerfaha iyada oo la raacayo ixtimaalka p (hyperparameter) ama in la dhigo eber kiis ka soo horjeeda. Natiijo ahaan, shabakadu waa inay isticmaashaa qaybo kala duwan oo kala duwan oo loogu talagalay dufcad kasta oo tababar ah, taas oo yaraynaysa isbeddelada xuduudaha qaarkood ee noqda kuwa ugu sarreeya.
Muhiim: Haddii aad isticmaashid ka tagista iyo dufcadda caadiga ah, ka taxdar sida ay u kala horreeyaan hawlgalladan ama xitaa aad u wada isticmaasho. Waxaas oo dhan ilaa hadda si firfircoon ayaa looga hadlayaa oo loo kabay. Halkan waxaa ah laba doodood oo muhiim ah oo ku saabsan mawduucan ΠΈ .
Xakamaynta shaqada
Waxay ku saabsan tahay diiwaan gelinta socodka shaqada iyo tijaabooyinka. Haddii aadan waxba diiwaangelin, waxaa laga yaabaa inaad illowdo, tusaale ahaan, heerka waxbarashada ama miisaanka fasalka ee la isticmaalo. Waad ku mahadsan tahay xakamaynta, waxaad si fudud u arki kartaa oo aad dib u soo saari kartaa tijaabooyinkii hore. Tani waxay kuu ogolaaneysaa inaad yareyso tirada tijaabinta nuqulka ah.
Si kastaba ha ahaatee, dukumeenti buug-gacmeedku waxay noqon karaan hawl adag marka ay dhacdo mug weyn oo shaqo ah. Tani waa halka ay ka soo galaan qalabka sida Comet.ml si ay kaaga caawiyaan inaad si toos ah u gasho xogta, isbeddelada koodka, taariikhda tijaabada ah, iyo moodooyinka wax soo saarka, oo ay ku jiraan macluumaadka muhiimka ah ee ku saabsan moodeelkaaga (hyperparameters, metrik waxqabadka moodeel, iyo macluumaadka deegaanka).
Shabakadda neerfaha waxay noqon kartaa mid xasaasi u ah isbeddellada yaryar, taasina waxay horseedi doontaa hoos u dhaca waxqabadka moodeelka. Dabagalka iyo diiwaan gelinta shaqadaada waa tallaabada ugu horreysa ee aad qaadi karto si aad u habayn karto deegaankaaga iyo qaabaynta.
Waxaan rajeynayaa in qoraalkani uu kuu noqon karo bar bilow si aad u bilawdo khaladka shabakadaada neerfaha.
Skillbox waxay ku talinaysaa:
- Koorso wax ku ool ah oo laba sano ah .
- Koorso onlayn ah .
- Koorsada sanadka ee wax ku oolka ah .
Source: www.habr.com