Is minic a bhíonn cód táirgí bogearraí meaisínfhoghlama casta agus sách mearbhall. Tasc atá dian ar acmhainní é fabhtanna a bhrath agus a dhíchur. Fiú an simplí cur chuige dáiríre a bheith ag teastáil maidir le hailtireacht líonra, meáchain a thúsú, agus leas iomlán a bhaint as líonra. Is féidir fadhbanna míthaitneamhacha a bheith mar thoradh ar bhotún beag.
Tá an t-alt seo faoi algartam chun do líonraí neural a dhífhabhtú.
Molann Skillbox: Cúrsa praiticiúil .
Meabhraímid: do léitheoirí uile "Habr" - lascaine de 10 rúbal nuair a chláraíonn siad in aon chúrsa Scilbox ag baint úsáide as an gcód bolscaireachta "Habr".
Tá cúig chéim san algartam:
- tús éasca;
- dearbhú ar chaillteanais;
- torthaí agus naisc idirmheánacha a sheiceáil;
- diagnóisic paraiméadar;
- rialú na hoibre.
Más cosúil go bhfuil rud éigin níos suimiúla duit ná an chuid eile, is féidir leat scipeáil láithreach chuig na hailt seo.
Tús éasca
Tá sé níos deacra líonra néaraíoch a bhfuil ailtireacht chasta, rialtacht agus sceidealóir rátaí foghlama aige a dhífhabhtú ná an gnáthchlár. Táimid rud beag tricky anseo, ós rud é go mbaineann an pointe féin go hindíreach le dífhabhtú, ach is moladh tábhachtach é seo fós.
Tús simplí is ea samhail shimplithe a chruthú agus é a oiliúint ar thacar (pointe) sonraí amháin.
Ar dtús cruthaímid múnla simplithe
Chun tús a chur go tapa, cruthaímid líonra beag le sraith amháin i bhfolach agus seiceáil go n-oibríonn gach rud i gceart. Ansin déanaimid casta ar an múnla de réir a chéile, ag seiceáil gach gné nua dá struchtúr (ciseal breise, paraiméadar, etc.), agus bogadh ar aghaidh.
Cuirimid oiliúint ar an tsamhail ar thacar amháin (pointe) sonraí
Mar sheiceáil shláintíochta tapa do do thionscadal, is féidir leat pointe sonraí oiliúna amháin nó dhó a úsáid chun a dhearbhú an bhfuil an córas ag obair i gceart. Caithfidh an líonra néareolaíoch cruinneas 100% a thaispeáint san oiliúint agus sa tástáil. Mura bhfuil sé seo amhlaidh, ansin tá an tsamhail ró-bheag nó tá fabht agat cheana féin.
Fiú má tá gach rud go maith, ullmhaigh an tsamhail ar feadh tréimhse amháin nó níos mó sula dtéann tú ar aghaidh.
Measúnú caillteanais
Is é meastachán caillteanais an príomhbhealach chun feidhmíocht an mhúnla a bheachtú. Ní mór duit a chinntiú go bhfuil an caillteanas oiriúnach don fhadhb agus go ndéantar na feidhmeanna caillteanais a rátáil ar an scála ceart. Má úsáideann tú níos mó ná cineál caillteanais amháin, déan cinnte go bhfuil siad go léir san ord céanna agus de réir scála ceart.
Tá sé tábhachtach a bheith aireach ar chaillteanais tosaigh. Seiceáil cé chomh gar agus atá an toradh iarbhír don toradh ionchais má thosaigh an tsamhail le buille faoi thuairim randamach. IN : “Déan cinnte go bhfaighidh tú an toradh a bhfuil tú ag súil leis nuair a thosaíonn tú le líon beag paraiméadair. Tá sé níos fearr a sheiceáil láithreach an caillteanas sonraí (leis an leibhéal rialtachta socraithe go nialas). Mar shampla, le haghaidh CIFAR-10 le haicmitheoir Softmax, táimid ag súil go mbeidh an caillteanas tosaigh ag 2.302 toisc go bhfuil an dóchúlacht idirleata ionchais 0,1 do gach rang (toisc go bhfuil 10 rang) agus is é an caillteanas Softmax an dóchúlacht log diúltach don rang ceart. mar − ln (0.1) = 2.302.”
Maidir leis an sampla dénártha, déantar ríomh den chineál céanna do gach ceann de na ranganna. Seo, mar shampla, na sonraí: 20% 0 agus 80% 1. Beidh an caillteanas tosaigh ionchasach suas le –0,2ln (0,5) –0,8ln (0,5) = 0,693147. Má tá an toradh níos mó ná 1, féadfaidh sé a léiriú nach bhfuil na meáchain líonra neural cothromaithe i gceart nó nach bhfuil na sonraí normalaithe.
Torthaí idirmheánacha agus naisc a sheiceáil
Chun líonra néarúil a dhífhabhtú, is gá tuiscint a fháil ar dhinimic na bpróiseas laistigh den líonra agus ar ról na sraitheanna idirmheánacha aonair agus iad ceangailte. Seo iad na hearráidí coitianta a d’fhéadfadh teacht ort:
- slonn mícheart le haghaidh nuashonruithe gradle;
- ní chuirtear nuashonruithe meáchain i bhfeidhm;
- grádáin ag pléascadh.
Más nialas na luachanna grádáin, ciallaíonn sé seo go bhfuil an ráta foghlama san optimizer ró-mhall, nó go bhfuil tú ag teacht ar slonn mícheart chun an grádán a nuashonrú.
Ina theannta sin, is gá monatóireacht a dhéanamh ar luachanna na bhfeidhmeanna gníomhachtaithe, meáchain agus nuashonruithe gach ceann de na sraitheanna. Mar shampla, an méid nuashonruithe paraiméadar (meáchain agus laofachtaí) .
Tá feiniméan ann ar a dtugtar “Dying ReLU” nó , nuair a bheidh néaróin ReLU aschur nialas tar éis foghlaim luach mór claonta diúltach dá meáchain. Ní scaoiltear na néaróin seo arís ag pointe ar bith sna sonraí.
Is féidir leat seiceáil grádáin a úsáid chun na hearráidí seo a aithint tríd an grádán a chomhfhogasú le cur chuige uimhriúil. Má tá sé gar do na grádáin ríofa, ansin cuireadh backpropagation i bhfeidhm i gceart. Chun seiceáil grádáin a chruthú, seiceáil na hacmhainní iontacha seo ó CS231 и Chomh maith le Andrew Nga ar an ábhar seo.
léiríonn sé trí phríomh-mhodh chun líonra néarúil a léirshamhlú:
- Is modhanna simplí iad réamh-mheastacháin a léiríonn struchtúr ginearálta na samhla oilte dúinn. Ina measc seo tá aschur cruthanna nó scagairí de na sraitheanna aonair den líonra néarúil agus na paraiméadair laistigh de gach ciseal.
- Gníomhachtaithe bunaithe. I measc iad, déanaimid amach gníomhachtú néaróin aonair nó grúpaí néaróin chun a gcuid feidhmeanna a thuiscint.
- Bunaithe ar ghrádáin. Is gnách go n-ionramhálann na modhanna seo grádáin a fhoirmítear ó phasanna ar aghaidh agus ar gcúl na hoiliúna samhla (lena n-áirítear léarscáileanna sábháltachta agus léarscáileanna gníomhachtaithe ranga).
Tá roinnt uirlisí úsáideacha ann chun gníomhachtú agus naisc sraitheanna aonair a shamhlú, m.sh. и .
Diagnóisic paraiméadar
Tá go leor paraiméadair ag líonraí neural a idirghníomhaíonn lena chéile, rud a chuireann casta ar leas iomlán a bhaint as. I ndáiríre, tá an chuid seo ina ábhar taighde gníomhach ag speisialtóirí, mar sin níor cheart na moltaí thíos a mheas ach mar chomhairle, pointí tosaigh ónar féidir tógáil.
Méid an phacáiste (méid baisc) - Más mian leat go mbeadh méid an bhaisc mór go leor chun meastacháin chruinne ar ghrádán earráide a fháil, ach beag go leor le haghaidh shliocht grádáin stochastic (SGD) chun do líonra a thabhairt chun rialtachta. Beidh cóineasú tapa mar thoradh ar mhéideanna baisc bheaga mar gheall ar thorann le linn an phróisis oiliúna agus ina dhiaidh sin ar dheacrachtaí optamaithe. Déantar cur síos níos mine air seo .
Ráta foghlama - ró-íseal beidh cóineasú mall nó baol dul i bhfostú in íosmhéid áitiúil mar thoradh air. Ag an am céanna, beidh ráta ard foghlama ina chúis le éagsúlacht leas iomlán a bhaint as toisc go bhfuil an baol ann go léimfidh tú tríd an gcuid dhomhain ach cúng den fheidhm chaillteanais. Bain triail as sceidealú luais a úsáid chun é a laghdú agus an líonra néarúil á oiliúint. Suas chun dáta le CS231n .
Bearradh grádán — grádáin pharaiméadair a bhearradh le linn iomadaíodh cúl ar an uasluach nó ar an norm imeallach. Tá sé úsáideach chun aon ghrádáin phléascacha a d’fhéadfadh teacht ort i bpointe a trí a réiteach.
normalú bhaisc - a úsáidtear chun sonraí ionchuir gach ciseal a normalú, rud a ligeann dúinn an fhadhb a bhaineann le haistriú covariate inmheánach a réiteach. Má tá tú ag baint úsáide as Dropout agus Baisc Norma le chéile, .
Sliochd grádán stochastic (SGD) — tá cineálacha éagsúla SGD ann a úsáideann móiminteam, rátaí foghlama oiriúnaitheacha agus modh Nesterov. Mar sin féin, níl buntáiste soiléir ag aon cheann acu ó thaobh éifeachtúlacht foghlama agus ginearálú araon ().
Rialáil - tá sé ríthábhachtach chun samhail inghinearálaithe a thógáil, ós rud é go gcuireann sé pionós ar chastacht na samhla nó ar luachanna paraiméadar foircneacha. Is bealach é seo chun athraithis sa tsamhail a laghdú gan a chlaonadh a mhéadú go suntasach. Tuilleadh .
Chun gach rud a mheas tú féin, ní mór duit rialtacht a dhíchumasú agus an grádán caillteanas sonraí a sheiceáil leat féin.
Ag titim amach Is modh eile é do líonra a shruthlíniú chun brú tráchta a chosc. Le linn na hoiliúna, ní dhéantar dropout ach amháin trí ghníomhaíocht an néaróin a chothabháil le p dóchúlacht áirithe (hyperparameter) nó é a shocrú go nialas sa chás eile. Mar thoradh air sin, ní mór don líonra fo-thacar paraiméadair éagsúla a úsáid le haghaidh gach baisce oiliúna, rud a laghdaíonn athruithe ar pharaiméadair áirithe a thagann chun bheith ceannasach.
Tábhachtach: Má úsáideann tú an dá dropout agus normalú baisc, a bheith cúramach faoi ord na n-oibríochtaí seo nó fiú iad a úsáid le chéile. Tá sé seo go léir fós á phlé agus á fhorlíonadh go gníomhach. Seo dhá phlé thábhachtacha ar an ábhar seo и .
Rialú oibre
Baineann sé le sreafaí oibre agus turgnaimh a dhoiciméadú. Mura ndéanann tú aon rud a dhoiciméadú, b'fhéidir go ndéanfaidh tú dearmad, mar shampla, cén ráta foghlama nó meáchain ranga a úsáidtear. A bhuíochas le rialú, is féidir leat turgnaimh roimhe seo a fheiceáil agus a atáirgeadh go héasca. Ligeann sé seo duit líon na dturgnamh dúblach a laghdú.
Mar sin féin, féadann doiciméadú láimhe a bheith ina thasc deacair i gcás líon mór oibre. Seo an áit a dtagann uirlisí cosúil le Comet.ml isteach chun cabhrú leat tacair shonraí, athruithe cód, stair thurgnamhach, agus samhlacha táirgthe a logáil go huathoibríoch, lena n-áirítear faisnéis thábhachtach faoi do mhúnla (hiperparaiméadair, méadracht feidhmíochta múnla, agus faisnéis chomhshaoil).
Is féidir le líonra néarúil a bheith an-íogair d’athruithe beaga, agus beidh laghdú ar fheidhmíocht an mhúnla mar thoradh air seo. Is é do chuid oibre a rianú agus a dhoiciméadú an chéad chéim is féidir leat a ghlacadh chun do thimpeallacht agus do shamhaltú a chaighdeánú.
Tá súil agam gur féidir leis an bpost seo a bheith ina phointe tosaigh duit chun do líonra néarúil a dhífhabhtú.
Molann Skillbox:
- Cúrsa praiticiúil dhá bhliain .
- Cúrsa ar líne .
- Cúrsa bliana praiticiúla .
Foinse: will.com