Khoutu ea lihlahisoa tsa software ea ho ithuta ka mochini hangata e rarahane ebile e ferekanya haholo. Ho bona le ho tlosa likokoana-hloko ho eona ke mosebetsi o boima haholo. Esita le tse bonolo ka ho fetisisa hloka mokhoa o tebileng oa ho haha marang-rang, ho qala boima ba 'mele, le ho ntlafatsa marang-rang. Phoso e nyenyane e ka lebisa mathateng a sa thabiseng.
Sengoliloeng sena se bua ka algorithm ea ho lokisa marang-rang a hau a neural.
Skillbox e khothaletsa: Tsela e sebetsang .
Re hopotsa: bakeng sa babali bohle ba "Habr" - theolelo ea li-ruble tse 10 ha u ngolisa thupelong efe kapa efe ea Skillbox u sebelisa khoutu ea papatso ea "Habr".
Algorithm e na le mekhahlelo e mehlano:
- qalo e bonolo;
- netefatso ea tahlehelo;
- ho lekola liphetho tse mahareng le likhokahano;
- tlhahlobo ea parameter;
- taolo ya mosebetsi.
Haeba ho na le ho hong ho bonahalang ho thahasellisa ho uena ho feta tse ling kaofela, u ka tlolela likarolong tsena hang-hang.
Ho qala habonolo
Marang-rang a marang-rang a nang le meralo e rarahaneng, ho tloaeleha, le kemiso ea sekhahla sa ho ithuta ho thata ho e lokisa ho feta e tloaelehileng. Re ntse re qhekella hanyane mona, kaha ntlha ka boeona e amana ka tsela e sa tobang le ho lokisa liphoso, empa ena e ntse e le khothaletso ea bohlokoa.
Qaleho e bonolo ke ho etsa mohlala o nolofalitsoeng le ho o koetlisa ka sete e le 'ngoe (ntlha) ea data.
Pele re etsa mohlala o nolofalitsoeng
Ho qala ka potlako, re theha marang-rang a manyenyane a nang le lera le le leng le patiloeng 'me re hlahlobe hore ntho e' ngoe le e 'ngoe e sebetsa ka nepo. Ebe butle-butle re thatafatsa mohlala, re hlahloba karolo e 'ngoe le e' ngoe e ncha ea sebopeho sa eona (sekhahla se eketsehileng, parameter, joalo-joalo), 'me u tsoele pele.
Re koetlisa mohlala ka sete e le 'ngoe (ntlha) ea data
E le tlhahlobo e potlakileng ea bohloeki bakeng sa projeke ea hau, u ka sebelisa lintlha tse le 'ngoe kapa tse peli bakeng sa koetliso ho netefatsa hore na sistimi e sebetsa ka nepo. Neural network e tlameha ho bonts'a 100% ho nepahala ha koetliso le tlhahlobo. Haeba ho se joalo, mohlomong mohlala o monyenyane haholo kapa o se o ntse o e-na le bothata.
Leha tsohle li lokile, lokisetsa mohlala bakeng sa nako e le 'ngoe kapa ho feta pele u fetela pele.
Kelo ya tahlehelo
Khakanyo ea tahlehelo ke mokhoa o ka sehloohong oa ho ntlafatsa ts'ebetso ea mohlala. U lokela ho etsa bonnete ba hore tahlehelo e loketse bothata le hore mesebetsi ea tahlehelo e lekantsoe ka tekanyo e nepahetseng. Haeba u sebelisa mefuta e fetang e le 'ngoe ea tahlehelo, etsa bonnete ba hore kaofela ha tsona li lekana 'me li lekantsoe ka nepo.
Ho bohlokoa ho ela hloko tahlehelo ea pele. Sheba hore na sephetho sa nnete se haufi hakae le sephetho se lebelletsoeng haeba mohlala o qalile ka khakanyo e sa reroang. IN : “Etsa bonnete ba hore u fumana sephetho seo u se lebeletseng ha u qala ka palo e nyenyane ea liparamente. Ho molemo ho hlahloba hang-hang tahlehelo ea data (ka tekanyo ea ho tloaeleha e behiloeng ho zero). Mohlala, bakeng sa CIFAR-10 e nang le sehlopha sa Softmax, re lebelletse hore tahlehelo ea pele e be 2.302 hobane monyetla o lebelletsoeng oa phallo ke 0,1 bakeng sa sehlopha ka seng (kaha ho na le litlelase tse 10) mme tahlehelo ea Softmax ke monyetla o mobe oa sehlopha se nepahetseng. joalo ka − ln (0.1) = 2.302.”
Bakeng sa mohlala oa binary, palo e tšoanang e etsoa feela bakeng sa sehlopha ka seng. Mona, mohlala, ke lintlha: 20% 0's le 80% 1's. Tahlehelo ea pele e lebelletsoeng e tla ba ho -0,2ln (0,5) -0,8ln (0,5) = 0,693147. Haeba sephetho se le seholo ho feta 1, se ka 'na sa bontša hore litekanyo tsa neural network ha li leka-lekane hantle kapa data ha e tloaelehe.
E hlahloba liphetho tsa lipakeng le likhokahano
Ho lokisa marang-rang a neural, hoa hlokahala ho utloisisa matla a lits'ebetso ka har'a marang-rang le karolo ea likarolo tse mahareng ha li ntse li hokahane. Liphoso tse tloaelehileng tseo u ka kopanang le tsona ke tsena:
- lipolelo tse fosahetseng bakeng sa liapdeite tsa gradle;
- lisebelisoa tsa boima ha li sebelisoe;
- likhahla tse phatlohang.
Haeba boleng ba gradient e le zero, sena se bolela hore sekhahla sa ho ithuta ho optimizer se tsamaea butle haholo, kapa hore o kopana le polelo e fosahetseng bakeng sa ho ntlafatsa gradient.
Ntle le moo, hoa hlokahala ho lekola boleng ba ts'ebetso ea ts'ebetso, boima le lintlafatso tsa karolo ka 'ngoe ea likarolo. Mohlala, boholo ba lintlafatso tsa paramethara (boima le leeme) .
Ho na le ketsahalo e bitsoang "Dying ReLU" kapa , ha li-neuron tsa ReLU li tla hlahisa zero ka mor'a ho ithuta boleng bo boholo bo bobe ba khethollo bakeng sa boima ba eona. Li-neurons tsena ha li sa lelekoa hape ka nako efe kapa efe ho data.
U ka sebelisa tlhahlobo ea gradient ho hlwaya liphoso tsena ka ho lekanya sekhahla sa sekhahla u sebelisa mokhoa oa lipalo. Haeba e le haufi le li-gradients tse baloang, joale ts'ebetso ea morao-rao e ile ea kenngoa ts'ebetsong ka nepo. Ho theha cheke ea gradient, sheba lisebelisoa tsena tse ntle ho tsoa ho CS231 и hape le ka Andrew Nga ka taba ena.
e bonts'a mekhoa e meraro ea mantlha ea ho bona marang-rang a neural:
- Li-preliminary ke mekhoa e bonolo e re bontšang sebopeho se akaretsang sa mohlala o koetlisitsoeng. Tsena li kenyelletsa tlhahiso ea libopeho kapa li-filters tsa likarolo tse ikemetseng tsa marang-rang a methapo ea kutlo le li-parameter tse ka hare ho lera ka leng.
- Ts'ebetso e thehiloeng. Ho tsona, re manolla ts'ebetso ea li-neuron kapa lihlopha tsa li-neuron ho utloisisa mesebetsi ea tsona.
- E thehiloe ho li-gradients. Mekhoa ena e na le ho theola li-gradients tse entsoeng ho tloha pele le morao-rao tsa koetliso ea mohlala (ho kenyeletsoa limmapa tse bohlale le limmapa tsa ts'ebetso ea sehlopha).
Ho na le lisebelisoa tse 'maloa tsa bohlokoa tsa ho bona ka mahlo li-activations le likhokahano tsa lihlopha tse ikemetseng, mohlala. и .
Litlhahlobo tsa parameter
Marang-rang a Neural a na le liparamente tse ngata tse sebelisanang, tse thatafatsang ntlafatso. Ha e le hantle, karolo ena ke taba ea lipatlisiso tse sebetsang ke litsebi, kahoo litlhahiso tse ka tlaase li lokela ho nkoa feela e le keletso, lintlha tsa ho qala tseo ho ka hahoang ho tsona.
Boholo ba sephutheloana (boholo ba batch) - Haeba u batla hore boholo ba batch bo be boholo bo lekaneng ho fumana likhakanyo tse nepahetseng tsa gradient, empa e nyane ho lekana bakeng sa ho theoha ha stochastic gradient (SGD) ho etsa marang-rang a hau kamehla. Mekhahlelo e menyenyane e tla lebisa ho ho kopana ka potlako ka lebaka la lerata nakong ea thupelo le mathata a ho ntlafatsa. Sena se hlalosoa ka ho qaqileng haholoanyane .
Sekhahla sa ho ithuta - ho fokotseha haholo ho tla lebisa ho khokahanyo butle kapa kotsi ea ho ts'oaroa ke minima ea lehae. Ka nako e ts'oanang, tekanyo e phahameng ea ho ithuta e tla etsa hore ho be le phapang ea ho ntlafatsa hobane u ipeha kotsing ea ho tlōla karolo e tebileng empa e moqotetsane ea mosebetsi oa tahlehelo. Leka ho sebelisa kemiso ea lebelo ho e fokotsa ha u ntse u koetlisa neural network. E nchafalitsoe ka CS231n .
Ho khaola likhahla - ho fokotsa li-gradients tsa parametha nakong ea tlhahiso ea morao-rao ka boleng bo phahameng kapa bo tloaelehileng. E thusa ho rarolla mathata leha e le afe a marang-rang ao u ka kopanang le 'ona ntlheng ea boraro.
Ho tloaeleha ha sehlopha - e sebelisetsoang ho etsa hore data e kenngoeng ke e tloaelehileng ea lera ka leng, e re lumellang ho rarolla bothata ba phetoho ea ka hare ea covariate. Haeba u sebelisa Dropout le Batch Norma hammoho, .
Leloko la Stochastic gradient (SGD) - ho na le mefuta e mengata ea SGD e sebelisang matla, litekanyetso tsa ho ithuta tse feto-fetohang le mokhoa oa Nesterov. Leha ho le joalo, ha ho le e 'ngoe ea tsona e nang le molemo o hlakileng mabapi le katleho ea ho ithuta le kakaretso ().
Regularization - e bohlokoa bakeng sa ho aha mohlala o akaretsang, kaha o eketsa kotlo bakeng sa ho rarahana ha mohlala kapa boleng bo feteletseng ba paramethara. Ena ke mokhoa oa ho fokotsa phapang ea mohlala ntle le ho eketsa leeme la eona haholo. Hape .
Ho itlhahloba ntho e 'ngoe le e' ngoe ka bouena, o hloka ho tima ho etsa maemo a tloaelehileng le ho itlhahloba ka bouena.
Ho theoha ke mokhoa o mong oa ho nolofatsa marang-rang a hau ho thibela tšubuhlellano. Nakong ea koetliso, ho tlohela mosebetsi ho etsoa feela ka ho boloka ts'ebetso ea neuron ka monyetla o itseng oa p (hyperparameter) kapa ho e beha ho zero ka lehlakoreng le leng. Ka lebaka leo, marang-rang a tlameha ho sebelisa li-parameter tse fapaneng bakeng sa sehlopha se seng le se seng sa koetliso, se fokotsang liphetoho ho li-parameter tse itseng tse fetohang matla.
Bohlokoa: Haeba u sebelisa li-dropout le batch normalization, ela hloko tatellano ea ts'ebetso ena kapa u li sebelise hammoho. Tsena tsohle li ntse li buisanoa ka matla le ho tlatselletsoa. Lipuisano tse peli tsa bohlokoa ka taba ena ke tsena и .
Taolo ea mosebetsi
E mabapi le ho ngola litaba tsa mosebetsi le liteko. Haeba u sa ngole letho, u ka lebala, mohlala, hore na ho sebelisoa sekhahla sefe sa ho ithuta kapa boima ba sehlopha. Ka lebaka la taolo, o ka sheba le ho hlahisa liteko tse fetileng habonolo. Sena se o lumella ho fokotsa palo ea liteko tse kopitsoang.
Leha ho le joalo, litokomane tsa matsoho li ka fetoha mosebetsi o boima tabeng ea mosebetsi o mongata. Mona ke moo lisebelisoa tse kang Comet.ml li kenang ho u thusa ho kenya li-dataset, liphetoho tsa khoutu, histori ea liteko, le mefuta ea tlhahiso, ho kenyelletsa le lintlha tsa bohlokoa mabapi le mohlala oa hau (hyperparameters, metrics performance metrics, le tlhahisoleseding ea tikoloho).
Neural network e ka ba le maikutlo a matle haholo ho liphetoho tse nyane, mme sena se tla lebisa ho theoheng ha ts'ebetso ea mohlala. Ho latela le ho ngola mosebetsi oa hau ke mohato oa pele oo u ka o nkang ho tiisa tikoloho ea hau le ho etsa mohlala.
Ke tšepa hore poso ena e ka ba qalo ea hore u qale ho lokisa marang-rang a neural.
Skillbox e khothaletsa:
- Thuto ea lilemo tse peli e sebetsang .
- Tsela ea inthanete .
- Thuto ea selemo e sebetsang .
Source: www.habr.com