Ko te waehere o nga hua rorohiko ako miihini he uaua, he tino rangirua. Ko te kimi me te whakakore i nga pepeke kei roto he mahi tino kaha. Ahakoa te mea ngawari me whai whakaaro nui ki te hoahoanga whatunga, te arawhitinga o nga taumahatanga, me te arotautanga whatunga. Ko te hapa iti ka arahi ki nga raru kino.
Ko tenei tuhinga mo te algorithm mo te patuiro i o whatunga neural.
Ka tūtohu a Skillbox: Akoranga mahi .
Ka whakamahara matou: mo nga kaipānui katoa o "Habr" - he utu mo te 10 rubles i te wa e whakauru ana ki tetahi akoranga Skillbox ma te whakamahi i te waehere whakatairanga "Habr".
Ko te algorithm e rima nga waahanga:
- timatanga ngawari;
- te whakapumautanga o nga mate;
- te arowhai i nga hua takawaenga me nga hononga;
- tātaritanga tawhā;
- mana whakahaere mahi.
Mena he ahua pai ake ki a koe i era atu, ka taea e koe te peke ki enei waahanga.
He timatanga ngawari
Ko te whatunga neural me te hoahoanga uaua, te whakarite, me te whakahōtaka reiti ako he uaua ake te patuiro i te mea noa. He iti nei te uaua o taatau i konei, na te mea ko te kaupapa ake e pa ana ki te patuiro, engari he mea nui tonu tenei.
Ko te timatanga ngawari ko te hanga tauira ngawari me te whakangungu i runga i te huinga raraunga kotahi.
Tuatahi ka hangahia e matou he tauira ngawari
Hei timata wawe, ka hangaia e matou he whatunga iti me te paparanga huna kotahi ka tirohia kei te mahi tika nga mea katoa. Na ka whakaraeraehia te tauira, ka tirotirohia ia ahuatanga hou o tona hanganga (paparanga taapiri, tawhā, aha atu), ka haere tonu.
Ka whakangunguhia e matou te tauira i runga i te huinga kotahi (ira) o nga raraunga
Hei tirotiro tere mo to kaupapa, ka taea e koe te whakamahi i tetahi, e rua ranei nga tohu raraunga mo te whakangungu hei whakaū i te mahi tika o te punaha. Me whakaatu te whatunga neural 100% tika i roto i te whakangungu me te whakamatautau. Mena karekau tenei, he iti rawa te tauira, he pepeke ranei kei a koe.
Ahakoa kei te pai nga mea katoa, whakarerihia te tauira mo te waa kotahi neke atu ranei i mua i te neke haere.
Te aromatawai mate
Ko te whakatau tata ngaronga te huarahi matua ki te whakamahine i te mahinga o te tauira. Me whakarite e tika ana te mate ki te raru me te whakatau i nga mahi ngaro i runga i te tauine tika. Mena ka whakamahia e koe neke atu i te kotahi momo mate, me whakarite kia rite te ota katoa me te whakatau tika.
He mea nui kia aro ki nga mate tuatahi. Tirohia te tata o te hua tuturu ki te hua e tumanakohia ana mena i timata te tauira ki te matapae matapōkere. IN : “Kia mohio ka whiwhi koe i te hua e tumanakohia ana ka tiimata ana koe me te iti o nga tawhā. He pai ake ki te tirotiro tonu i te ngaronga o nga raraunga (me te tohu o te whakaritenga kua whakaritea ki te kore). Hei tauira, mo te CIFAR-10 me te karaehe Softmax, e tumanako ana matou ko te mate tuatahi ko te 2.302 na te mea ko te 0,1 te tuuponotanga titorehanga mo ia karaehe (i te mea he 10 nga karaehe) ko te ngaronga o Softmax ko te raarangi kino o te karaehe tika. hei − ln (0.1) = 2.302.”
Mo te tauira rua, ka mahia noa he tatauranga mo ia akomanga. Anei, hei tauira, ko te raraunga: 20% 0's me 80% 1's. Ko te mate tuatahi e tumanakohia ana ka eke ki te -0,2ln (0,5) -0,8ln (0,5) = 0,693147. Mena he nui ake te hua i te 1, ka tohu pea kaore i te taurite tika nga taumaha o te whatunga neural, kaore ranei i te whakatauritehia nga raraunga.
Te arowhai i nga hua takawaenga me nga hononga
Hei patuiro i te whatunga neural, he mea tika kia mohio ki nga hihiko o nga tukanga i roto i te whatunga me te mahi a nga paparanga takawaenga takitahi i a raatau e hono ana. Anei nga hapa noa ka pa ki a koe:
- nga korero hē mo nga whakahōutanga karaehe;
- kaore i te whakamahia nga whakahou taumaha;
- pahū rōnaki.
Mena he kore noa nga uara rōnaki, ko te tikanga he puhoi rawa te reiti ako i roto i te arotau, kei te tupono ranei koe ki tetahi korero he mo te whakahou i te rōnaki.
Hei taapiri, he mea tika ki te aro turuki i nga uara o nga mahi whakahoahoa, nga taumaha me nga whakahoutanga o ia paparanga. Hei tauira, te nui o nga whakahōu tawhā (nga taumaha me nga rītaha) .
He ahuatanga ka kiia ko "Dying ReLU" ranei , i te wa ka whakaputa nga neuron ReLU i te kore i muri i te ako i te uara piro kino nui mo ona taumaha. Ko enei neurons kaore ano kia pupuhihia i nga wa katoa o te raraunga.
Ka taea e koe te whakamahi i te arowhai rōnaki ki te tautuhi i enei hapa ma te tata i te rōnaki ma te whakamahi i te huarahi tau. Mena ka tata ki nga rōnaki kua tatauhia, ka tika te whakatinanatanga o te tuara. Hei waihanga i te haki rōnaki, tirohia enei rauemi nui mai i CS231 и me te Andrew Nga mo tenei kaupapa.
e tohu ana i nga tikanga matua e toru mo te whakaata i te whatunga neural:
- He tikanga ngawari nga mahi tuatahi e whakaatu ana i te hanganga whanui o te tauira kua whakangungua. Kei roto i enei ko te putanga o nga ahua me nga whiriwhiringa o nga paparanga takitahi o te whatunga neural me nga tawhā i roto i ia paparanga.
- Whakahohe i runga. I roto i a raatau, ka whakatauhia e maatau nga whakahoahoatanga o nga neurons takitahi, roopu ranei o nga neurons kia mohio ai ki o raatau mahi.
- I runga i nga rōnaki. Ko enei tikanga ko te raweke i nga rōnaki ka puta mai i te haere whakamua me te whakamuri o te whakangungu tauira (tae atu ki nga mapi maamaa me nga mapi whakahoahoa akomanga).
He maha nga taputapu whai hua hei tiro i nga whakahoahoa me nga hononga o nga paparanga takitahi, hei tauira. и .
Tawhā tātaritanga
Ko nga whatunga neural he maha nga tawhā e taunekeneke ana tetahi ki tetahi, e whakararu ana i te arotautanga. Inaa, ko tenei waahanga te kaupapa o te rangahau kaha a nga tohunga, na ko nga whakaaro i raro nei me whakaaro noa hei tohutohu, hei timata mai i te hanga.
Rahi mōkihi (te rahi o te puranga) - Mena kei te pirangi koe kia nui te rahi o te puranga kia tika ai nga whakatau tata rōnaki hapa, engari he iti mo te hekenga rōnaki stochastic (SGD) hei whakarite i to whatunga. Ko te rahi o te puranga iti ka tere te hurihanga na te haruru i te wa o te whakangungu me te uaua o te arotautanga. Kei te whakamaaramahia tenei .
Reeti ako - he iti rawa ka puhoi te whakakotahitanga, te tupono ranei ka mau ki te iti o te rohe. I te wa ano, ma te nui o te ako ka puta te rereketanga o te arotautanga na te mea ka tupono koe ki te peke i roto i te waahanga hohonu engari whaiti o te mahi ngaro. Whakamātauria te whakamahi i te whakahōtaka tere ki te whakaheke i te waa e whakangungu ana i te whatunga neural. Whakahou ki te CS231n .
Topenga rōnaki — te kuti i nga rōnaki tawhā i te wa whakamuri i te uara morahi, i te tikanga iti ranei. He pai mo te rapurongoā mo nga rōnaki pahū ka tūtaki koe i te wahanga tuatoru.
Whakaritea te puranga - ka whakamahia ki te whakarite i nga raraunga whakauru o ia paparanga, e taea ai e tatou te whakaoti i te raru o te huringa o roto. Mena kei te whakamahi tahi koe i te Whakataka me te Batch Norma, .
Whakaheke rōnaki Stochastic (SGD) - he maha nga momo SGD e whakamahi ana i te torohaki, nga reiti ako urutau me te tikanga Nesterov. Heoi, karekau he painga o tetahi o ratou i runga i te pai o te ako me te whakawhanui ().
Whakariteritenga - he mea tino nui mo te hanga tauira whaanui, na te mea ka taapiri he whiunga mo te uaua o te tauira me nga uara tawhā tino nui. He huarahi tenei ki te whakaiti i te rereketanga o te tauira me te kore e tino whakanui ake i tana rītaha. Ētahi atu .
Hei arotake i nga mea katoa, me whakakorehia e koe te whakariterite me te tirotiro i te rōnaki ngaronga raraunga.
Te whakaheke Ko tetahi atu tikanga mo te whakamaarama i to whatunga kia kore ai e popoke. I te wa e whakangungu ana, ko te whakahekenga ka mahia ma te pupuri i te mahi o te neuron me te p pea (taiao teitei) ka whakatauhia ranei ki te kore i tera keehi. Ko te mutunga mai, me whakamahi e te whatunga etahi waahanga rereke o nga tawhā mo ia roopu whakangungu, e whakaiti ana i nga huringa o etahi tawhā ka noho rangatira.
He mea nui: Mena kei te whakamahi koe i te whakahekenga me te whakaroanga o te roopu, kia tupato ki te raupapa o enei mahinga, me te whakamahi tahi ranei. Ko enei katoa kei te kaha tonu te korero me te taapiri. Anei nga korero nui e rua mo tenei kaupapa и .
Te whakahaere mahi
Ko te tuhi i nga rerengamahi me nga whakamatautau. Ki te kore koe e tuhi i tetahi mea, ka wareware pea koe, hei tauira, he aha te reiti ako, te taumahatanga o te karaehe ka whakamahia. He mihi ki te mana whakahaere, ka taea e koe te tiro me te whakaputa i nga whakamatautau o mua. Ma tenei ka taea e koe te whakaiti i te maha o nga whakamatautau takirua.
Heoi, ka taea e nga tuhinga a-ringa te mahi uaua ki te nui o nga mahi. Koinei te waahi ka uru mai nga taputapu penei i a Comet.ml hei awhina i a koe ki te takiuru aunoa i nga huingararaunga, nga huringa waehere, nga hitori whakamatautau, me nga tauira whakangao, tae atu ki nga korero matua mo to tauira (taapara teitei, inenga mahi tauira, me nga korero taiao).
Ka taea e te whatunga neural te tino aro ki nga huringa iti, a ma tenei ka heke te mahi tauira. Ko te aroturuki me te tuhi i to mahi ko te mahi tuatahi ka taea e koe ki te whakatau i to taiao me to whakatauira.
Ko taku tumanako ka waiho tenei pou hei timatanga mo koe ki te timata ki te patuiro i to whatunga neural.
Ka tūtohu a Skillbox:
- E rua tau te akoranga mahi .
- Akoranga aipurangi .
- Akoranga tau mahi .
Source: will.com