Ole fa'ailoga ole masini a'oa'oina mea faakomepiuta e masani ona lavelave ma fai si fenumiai. O le su'eina ma le fa'ate'aina o mea sese o lo'o i totonu o se galuega e fa'aloloto ai punaoa. E oo lava i le faigofie mana'omia se faiga fa'apitoa i le fausaga o feso'ota'iga, fa'amataina o le mamafa, ma le fa'aleleia atili o feso'otaiga. O sina mea sese e mafai ona oʻo atu ai i faʻafitauli le lelei.
O lenei tusiga e uiga i se algorithm mo le faʻaogaina o au neural networks.
Ua fautuaina e Skillbox: Kosi fa'ata'ita'i .
Matou te faʻamanatu atu ia te oe: mo tagata faitau uma o le "Habr" - o se faʻaitiitiga o 10 rubles pe a lesitala i soʻo se vasega Skillbox e faʻaaoga ai le code promotional "Habr".
O le algorithm e aofia ai vaega e lima:
- amata faigofie;
- fa'amaoniga o gau;
- siaki i'uga vavave ma feso'ota'iga;
- fa'ailoga fa'ata'ita'iga;
- pulea o galuega.
Afai ei ai se mea e foliga mai e sili atu ona manaia ia te oe nai lo isi, e mafai ona e faaseʻe vave i nei vaega.
Faigofie amata
O se feso'ota'iga neural ma se fausaga lavelave, fa'avasegaina, ma le fa'atulagaina o fua faatatau o a'oa'oga e sili atu ona faigata ona fa'aleaga nai lo le masani. O loʻo matou fai si faʻaʻoleʻole iinei, talu ai o le manatu lava ia e fesoʻotaʻi faʻatasi ma le faʻaogaina, ae o se fautuaga taua lava.
O se amataga faigofie o le fatuina lea o se faʻataʻitaʻiga faʻafaigofie ma aʻoaʻoina i luga o se seti (point) o faʻamaumauga.
Muamua tatou te fatuina se faʻataʻitaʻiga faigofie
Ina ia vave amata, matou te fatuina se laʻititi fesoʻotaʻiga ma se tasi natia natia ma siaki o mea uma e saʻo. Ona faasolosolo malie lea ona tatou faʻalavelaveina le faʻataʻitaʻiga, siaki vaega fou taʻitasi o lona fausaga (faʻaopoopo faʻapipiʻi, parakalafa, ma isi), ma faʻaauau.
Matou te aʻoaʻoina le faʻataʻitaʻiga i luga o se seti se tasi (point) o faʻamaumauga
I le avea ai o se siaki vave mo lau poloketi, e mafai ona e faʻaogaina se tasi pe lua faʻamaumauga mo aʻoaʻoga e faʻamaonia ai pe o loʻo saʻo le faiga. Ole fesoʻotaʻiga neural e tatau ona faʻaalia 100% saʻo ile aʻoaʻoga ma suʻega. Afai e le o le tulaga lea, a le o le faʻataʻitaʻiga e laʻititi tele pe ua uma ona iai sau pusa.
Tusa lava pe lelei mea uma, saunia le faʻataʻitaʻiga mo se tasi pe sili atu taimi aʻo leʻi faʻaauau.
Iloiloga gau
Fa'atatauga gau o le auala autu lea e fa'aleleia ai le fa'atinoga o le fa'ata'ita'iga. E tatau ona e mautinoa o le gau e talafeagai ma le faʻafitauli ma o galuega gau e faʻatatau i le fua saʻo. Afai e sili atu ma le tasi le ituaiga leiloa e te fa'aogaina, ia mautinoa o lo'o tutusa uma ma fa'afua sa'o.
E taua le fa'alogo i mea na leiloa muamua. Siaki pe o le a le latalata o le taunuuga moni i le taunuuga faamoemoeina pe afai na amata le faataitaiga i se matematega. IN : "Ia mautinoa e te maua le iʻuga e te faʻamoemoeina pe a e amata i se numera itiiti o faʻamau. E sili atu le vave siaki le leiloa o faʻamaumauga (faʻatasi ai ma le tikeri o le faʻatonuina seti i le zero). Mo se faʻataʻitaʻiga, mo le CIFAR-10 faʻatasi ma le Softmax classifier, matou te faʻamoemoe o le leiloa muamua e 2.302 ona o le faʻamoemoeina faʻalavelave faʻafuaseʻi o le 0,1 mo vasega taʻitasi (talu ai e 10 vasega) ma o le Softmax gau o le faʻailoga leaga o le vasega saʻo. pei − ln (0.1) = 2.302.”
Mo le faʻataʻitaʻiga binary, o se faʻatusatusaga tutusa e naʻo le faia mo vasega taʻitasi. O iinei, mo se faʻataʻitaʻiga, o faʻamaumauga: 20% 0's ma 80% 1's. Ole fa'amoemoe muamua ole gau ole a o'o ile -0,2ln (0,5) -0,8ln (0,5) = 0,693147. Afai o le taunuuga e sili atu nai lo le 1, e mafai ona faʻaalia ai e le o paleni lelei le mamafa o fesoʻotaiga neural pe le faʻasalalau faʻamaumauga.
Si'itia i'uga vavalo ma feso'ota'iga
Ina ia debug se fesoʻotaʻiga neural, e manaʻomia le malamalama i le faʻagasologa o gaioiga i totonu o le fesoʻotaʻiga ma le matafaioi a tagata taʻitoʻatasi vaeluagalemu aʻo latou fesoʻotaʻi. O mea sese masani ia e te ono fetaia'i:
- fa'amatalaga le sa'o mo fa'afouga fa'au'uga;
- e le fa'aaogaina fa'afouga mamafa;
- gradients pa.
Afai o le gradient values e zero, o lona uiga o le aʻoga i le optimizer e telegese tele, pe o loʻo e feagai ma se faʻamatalaga sese mo le faʻafouina o le gradient.
E le gata i lea, e manaʻomia le mataʻituina o tau o galuega faʻagaioiga, mamafa ma faʻafouga o laulau taʻitasi. Mo se faʻataʻitaʻiga, o le tele o faʻafouga faʻataʻitaʻiga (mamafa ma faʻaituau) .
O loʻo i ai se faʻalavelave e taʻua o le "Dying ReLU" poʻo , pe a maua e le ReLU neurons le zero pe a uma ona aʻoaʻoina se taua tele faʻaituau leaga mo ona mamafa. O nei neurons e le toe faʻapupulaina i soʻo se itu i faʻamaumauga.
E mafai ona e fa'aogaina le gradient checking e fa'ailoa ai nei mea sese e ala i le fa'atatauina o le gradient e fa'aaoga ai le numera. Afai e latalata ile gradients fuafuaina, ona faʻatinoina lelei lea o le backpropagation. Ina ia faia se siaki fa'asolosolo, siaki nei punaoa sili mai le CS231 и ma faʻapea foi ma Andrew Nga i lenei autu.
o loʻo faʻaalia ai auala autu e tolu mo le vaʻaia o se neural network:
- Preliminaries o auala faigofie e faʻaalia ai ia i matou le fausaga lautele o le faʻataʻitaʻiga aʻoaʻoina. O nei mea e aofia ai le gaosiga o foliga poʻo le faʻamama o vaega taʻitasi o le neural network ma faʻamau i totonu o laulau taʻitasi.
- Fa'ato'aga fa'avae. I totonu ia i latou, matou te faʻamalamalamaina le faʻagaoioia o neu taʻitasi poʻo vaega o neu e malamalama ai ia latou galuega.
- Fa'avae i luga o fa'alili. O nei metotia e masani ona faʻaogaina faʻamaʻi e maua mai i luma ma tua i tua o aʻoaʻoga faʻataʻitaʻiga (e aofia ai faʻafanua saliency ma faʻafanua faʻaagaga vasega).
E tele meafaigaluega aoga mo le vaʻaia o faʻagaioiga ma fesoʻotaʻiga o laulau taʻitasi, eg. и .
Parameter diagnostics
O fesoʻotaʻiga neural e tele naua mea e fegalegaleai ai le tasi ma le isi, lea e faʻalavelave ai le faʻaogaina. O le mea moni, o lenei vaega o le autu lea o suʻesuʻega faʻapitoa a tagata tomai faapitoa, o lea o fautuaga o loʻo i lalo e tatau ona mafaufauina naʻo ni fautuaga, amata vaega e fausia ai.
Tele le afifi (batch size) - Afai e te manaʻo ia lava le lapoʻa o le vaega e maua ai faʻatusatusaga saʻo o le gradient, ae laʻititi mo le faʻasolosolo faʻasolosolo (SGD) e faʻavasega lau fesoʻotaʻiga. Ole la'ititi la'ititi o le a ta'ita'iina ai le fa'asao vave ona o le pisapisao a'o fa'agasolo a'oa'oga ma mulimuli ane i fa'afitauli faigata. O loʻo faʻamatalaina atili lenei mea .
Ole fua ole a'oa'oga - maualalo tele o le a o'o atu ai i le fa'agesegese o le fe'avea'i po'o le fa'alavelave e pipii i le pito i lalo ole lotoifale. I le taimi lava e tasi, o le maualuga o le aʻoaʻoga o le a mafua ai le faʻaogaina o le eseesega ona e te lamatia le oso i luga o le loloto ae vaapiapi vaega o le gau. Taumafai e faʻaoga le faʻatulagaina o le saoasaoa e faʻaitiitia ai aʻo aʻoaʻoina le neural network. Fa'afou fa'atasi ma le CS231n .
Kilipi fa'alili - fa'aotiina fa'alili fa'ameamea i le taimi o le fa'asalalauina i tua i le tau maualuga po'o le fa'ata'ita'iga masani. E aoga mo le fofoina o so'o se gradients pa'u atonu e te feagai i le vaega tolu.
Fa'atonuga vaega - faʻaaogaina e faʻamautu ai faʻamatalaga faʻapipiʻi o laulau taʻitasi, lea e mafai ai ona tatou foia le faʻafitauli o le suiga i totonu. Afai o loʻo e faʻaaogaina le Dropout ma le Batch Norma faʻatasi, .
Fa'asolo fa'asolo malie (SGD) - e tele ituaiga o SGD e faʻaaogaina le malosi, fua faatatau o aʻoaʻoga ma le auala Nesterov. Ae ui i lea, e leai se tasi oi latou o loʻo i ai se avanoa manino e tusa ai ma le lelei o le aʻoaʻoina ma le faʻalauteleina ().
Fa'atonu - e taua tele mo le fausiaina o se faʻataʻitaʻiga lautele, talu ai e faʻaopoopoina se faʻasalaga mo le lavelave faʻataʻitaʻiga poʻo le maualuga o tau faʻatatau. Ole auala lea e fa'aitiitia ai le fa'ata'ita'iga e aunoa ma le fa'ateleina o lona fa'aituau. E sili atu .
Ina ia iloilo mea uma e oe lava ia, e tatau ona e faʻamalo le faʻatonuina ma siaki le faʻasologa o faʻamatalaga leiloa e oe lava ia.
Tu'u ese o le isi auala e fa'afaigofie ai lau feso'ota'iga e puipuia ai le fa'atosina. I le taimi o aʻoaʻoga, e naʻo le faʻatumauina o le gaioiga o le neuron ma se faʻamoemoega p (hyperparameter) poʻo le setiina i le zero i le isi tulaga. O se taunuuga, e tatau i le fesoʻotaʻiga ona faʻaogaina se vaega eseese o tapulaʻa mo vaega taʻitasi aʻoaʻoga, lea e faʻaitiitia ai suiga i nisi faʻamaufaʻailoga e avea ma pule.
Taua: Afai e te faʻaogaina uma le faʻamalo ma le faʻavasegaina o vaega, faʻaeteete i le faʻasologa o nei gaioiga poʻo le faʻaaogaina faʻatasi. O nei mea uma o loʻo faʻaauau pea ona talanoaina ma faʻaopoopoina. E lua ni talanoaga taua i lenei autu и .
Puleaina o galuega
E fa'atatau i le fa'amauina o fa'asologa o galuega ma fa'ata'ita'iga. Afai e te le fa'amauina se mea, atonu e galo ia te oe, mo se fa'ata'ita'iga, po'o le a le fua o le a'oa'oina po'o le mamafa o le vasega o lo'o fa'aogaina. Faʻafetai i le pulea, e faigofie ona e toe iloilo ma toe faia faʻataʻitaʻiga muamua. Ole mea lea e mafai ai ona e fa'aitiitia le numera o fa'ata'ita'iga fa'alua.
Ae ui i lea, o faʻamaumauga tusi lesona e mafai ona avea ma se galuega faigata i le tulaga o le tele o galuega. O le mea lea e sau ai meafaigaluega e pei o Comet.ml e fesoasoani ia te oe e otometi lava ona tusia faʻamaumauga, suiga o tulafono, faʻataʻitaʻiga faʻataʻitaʻiga, ma faʻataʻitaʻiga o gaosiga, e aofia ai faʻamatalaga autu e uiga i lau faʻataʻitaʻiga (hyperparameters, faʻataʻitaʻiga faʻataʻitaʻiga metrics, ma faʻamatalaga o le siosiomaga).
O se neural network e mafai ona matua maaleale i suiga laiti, ma o le a taʻitaʻia ai le pa'ū i le faʻatinoga o faʻataʻitaʻiga. O le siakiina ma le faʻamauina o lau galuega o le laasaga muamua lea e mafai ona e faia e faʻataʻatia ai lou siosiomaga ma faʻataʻitaʻiga.
Ou te faʻamoemoe o lenei pou e mafai ona avea ma amataga mo oe e amata ai le faʻapipiʻiina o lau neural network.
Ua fautuaina e Skillbox:
- Lua tausaga a'oa'oga .
- Kosi i luga ole laiga .
- Kosi tausaga fa'atino .
puna: www.habr.com