Koodu ti awọn ọja sọfitiwia ẹrọ jẹ idiju nigbagbogbo ati airoju pupọ. Ṣiṣawari ati imukuro awọn idun ninu rẹ jẹ iṣẹ-ṣiṣe to lekoko. Paapaa ti o rọrun julọ nilo ọna to ṣe pataki si faaji nẹtiwọọki, ipilẹṣẹ awọn iwuwo, ati iṣapeye nẹtiwọọki. Aṣiṣe kekere kan le ja si awọn iṣoro ti ko dara.
Nkan yii jẹ nipa algorithm kan fun ṣiṣatunṣe awọn nẹtiwọọki nkankikan rẹ.
Skillbox ṣe iṣeduro: Ilana ti o wulo .
A leti: fun gbogbo awọn oluka ti "Habr" - ẹdinwo ti 10 rubles nigbati o forukọsilẹ ni eyikeyi iṣẹ-ẹkọ Skillbox nipa lilo koodu ipolowo “Habr”.
Algoridimu ni awọn ipele marun:
- ibẹrẹ ti o rọrun;
- ìmúdájú ti awọn adanu;
- Ṣiṣayẹwo awọn abajade agbedemeji ati awọn asopọ;
- paramita okunfa;
- iṣakoso iṣẹ.
Ti ohunkan ba dabi ohun ti o nifẹ si ọ ju awọn iyokù lọ, o le lọ lẹsẹkẹsẹ si awọn apakan wọnyi.
Ibẹrẹ irọrun
Nẹtiwọọki nkankikan pẹlu faaji eka kan, isọdọtun, ati oluṣeto oṣuwọn ikẹkọ jẹ diẹ sii nira lati yokokoro ju ọkan deede lọ. A n jẹ ẹtan kekere kan nibi, niwon aaye naa funrararẹ ni aiṣe-taara si n ṣatunṣe aṣiṣe, ṣugbọn eyi tun jẹ iṣeduro pataki.
Ibẹrẹ ti o rọrun ni lati ṣẹda awoṣe ti o rọrun ki o ṣe ikẹkọ lori ṣeto (ojuami) ti data kan.
Ni akọkọ a ṣẹda awoṣe ti o rọrun
Lati bẹrẹ ni iyara, a ṣẹda nẹtiwọọki kekere kan pẹlu ipele ti o farapamọ kan ati ṣayẹwo pe ohun gbogbo n ṣiṣẹ ni deede. Lẹhinna a di awoṣe didiẹdiẹdiẹ, ṣayẹwo abala tuntun kọọkan ti eto rẹ (afikun Layer, paramita, bbl), ati tẹsiwaju.
A ikẹkọ awoṣe lori kan nikan ṣeto (ojuami) ti data
Gẹgẹbi ayẹwo mimọ ni iyara fun iṣẹ akanṣe rẹ, o le lo ọkan tabi awọn aaye data meji fun ikẹkọ lati jẹrisi boya eto naa n ṣiṣẹ ni deede. Nẹtiwọọki nkankikan gbọdọ ṣafihan deede 100% ni ikẹkọ ati idanwo. Ti eyi kii ṣe ọran, lẹhinna boya awoṣe naa kere ju tabi o ti ni kokoro kan.
Paapaa ti gbogbo rẹ ba dara, mura awoṣe fun ọkan tabi diẹ sii epochs ṣaaju gbigbe siwaju.
Ayẹwo pipadanu
Iṣiro ipadanu jẹ ọna akọkọ lati ṣatunṣe iṣẹ ṣiṣe awoṣe. O nilo lati rii daju pe pipadanu jẹ deede si iṣoro naa ati pe awọn iṣẹ ipadanu ti wa ni iwọn lori iwọn to tọ. Ti o ba lo iru isonu ti o ju ọkan lọ, rii daju pe gbogbo wọn jẹ aṣẹ kanna ati iwọn ni deede.
O ṣe pataki lati ṣe akiyesi awọn adanu akọkọ. Ṣayẹwo bi abajade gangan ṣe sunmọ esi ti o nireti ti awoṣe ba bẹrẹ pẹlu amoro lairotẹlẹ. IN : “Rii daju pe o gba abajade ti o nireti nigbati o bẹrẹ pẹlu nọmba kekere ti awọn aye. O dara lati ṣayẹwo lẹsẹkẹsẹ pipadanu data (pẹlu iwọn ti igbagbogbo ṣeto si odo). Fun apẹẹrẹ, fun CIFAR-10 pẹlu olutọpa Softmax, a nireti pe pipadanu ibẹrẹ yoo jẹ 2.302 nitori iṣeeṣe itọjade ti a nireti jẹ 0,1 fun kilasi kọọkan (niwon awọn kilasi 10 wa) ati pipadanu Softmax jẹ iṣeeṣe log odi ti kilasi to tọ bi - ln (0.1) = 2.302."
Fun apẹẹrẹ alakomeji, iṣiro kanna ni a ṣe ni irọrun fun ọkọọkan awọn kilasi naa. Nibi, fun apẹẹrẹ, ni data: 20% 0's ati 80% 1's. Ipadanu ibẹrẹ ti a reti yoo jẹ to -0,2ln (0,5) -0,8ln (0,5) = 0,693147. Ti abajade ba tobi ju 1 lọ, o le fihan pe awọn iwuwo netiwọki nkankikan ko ni iwọntunwọnsi daradara tabi data ko ṣe deede.
Ṣiṣayẹwo awọn abajade agbedemeji ati awọn asopọ
Lati ṣatunṣe nẹtiwọọki nkankikan, o jẹ dandan lati ni oye awọn agbara ti awọn ilana laarin nẹtiwọọki ati ipa ti awọn ipele agbedemeji ẹni kọọkan bi wọn ti sopọ. Eyi ni awọn aṣiṣe ti o wọpọ ti o le ba pade:
- awọn ikosile ti ko tọ fun awọn imudojuiwọn gradle;
- Awọn imudojuiwọn iwuwo ko lo;
- exploding gradients.
Ti awọn iye gradient ba jẹ odo, eyi tumọ si pe oṣuwọn ikẹkọ ninu oluṣapejuwe o lọra pupọ, tabi pe o n pade ikosile ti ko tọ fun mimu dojuiwọn gradient naa.
Ni afikun, o jẹ dandan lati ṣe atẹle awọn iye ti awọn iṣẹ imuṣiṣẹ, awọn iwuwo ati awọn imudojuiwọn ti awọn ipele kọọkan. Fun apẹẹrẹ, titobi awọn imudojuiwọn paramita (awọn iwuwo ati awọn aiṣedeede) .
Isele kan wa ti a pe ni "Diing ReLU" tabi , nigbati ReLU neurons yoo jade odo lẹhin kikọ ẹkọ idiyele odi nla fun awọn iwuwo rẹ. Awọn neuron wọnyi ko ni ina lẹẹkansi ni aaye eyikeyi ninu data naa.
O le lo iṣayẹwo gradient lati ṣe idanimọ awọn aṣiṣe wọnyi nipa isunmọ gradient nipa lilo ọna nọmba kan. Ti o ba sunmọ awọn gradients ti a ṣe iṣiro, lẹhinna a ti ṣe imuse isọdọtun ni deede. Lati ṣẹda ayẹwo gradient, ṣayẹwo awọn orisun nla wọnyi lati CS231 и ati pẹlu pẹlu Andrew Nga lori koko yii.
tọkasi awọn ọna akọkọ mẹta fun wiwo nẹtiwọọki nkankikan:
- Awọn alakoko jẹ awọn ọna ti o rọrun ti o fihan wa ilana gbogbogbo ti awoṣe ikẹkọ. Iwọnyi pẹlu iṣelọpọ awọn apẹrẹ tabi awọn asẹ ti awọn fẹlẹfẹlẹ ọkọọkan ti nẹtiwọọki nkankikan ati awọn paramita laarin Layer kọọkan.
- Da lori ibere ise. Ninu wọn, a ṣe ipinnu awọn iṣẹ ṣiṣe ti awọn neuronu kọọkan tabi awọn ẹgbẹ ti awọn neuronu lati loye awọn iṣẹ wọn.
- Da lori gradients. Awọn ọna wọnyi ṣọ lati ṣe afọwọyi awọn gradients ti o ṣẹda lati iwaju ati sẹhin ti ikẹkọ awoṣe (pẹlu awọn maapu saliency ati awọn maapu imuṣiṣẹ kilasi).
Awọn irinṣẹ to wulo pupọ lo wa fun wiwo awọn iṣẹ ṣiṣe ati awọn asopọ ti awọn ipele kọọkan, fun apẹẹrẹ. и .
Awọn iwadii paramita
Awọn nẹtiwọọki nkankikan ni ọpọlọpọ awọn aye ti o nlo pẹlu ara wọn, eyiti o ṣe idiju iṣapeye. Lootọ, apakan yii jẹ koko-ọrọ ti iwadii lọwọ nipasẹ awọn alamọja, nitorinaa awọn imọran ti o wa ni isalẹ yẹ ki o gbero nikan bi imọran, awọn aaye ibẹrẹ lati eyiti lati kọ.
Package iwọn (iwọn ipele) - Ti o ba fẹ ki iwọn ipele naa tobi to lati gba awọn iṣiro isọdọtun aṣiṣe deede, ṣugbọn kekere to fun isọdi isọdọtun sitokasitik (SGD) lati ṣe deede nẹtiwọọki rẹ. Awọn iwọn ipele kekere yoo ja si isọdọkan iyara nitori ariwo lakoko ilana ikẹkọ ati atẹle si awọn iṣoro iṣapeye. Eyi ni apejuwe diẹ sii .
Oṣuwọn ẹkọ - ju kekere yoo ja si o lọra convergence tabi ewu ti di ni agbegbe minima. Ni akoko kanna, oṣuwọn ẹkọ giga yoo fa iyatọ ti o dara julọ nitori pe o ṣe eewu fo nipasẹ jin ṣugbọn apakan dín ti iṣẹ isonu naa. Gbiyanju lati lo ṣiṣe eto iyara lati dinku lakoko ikẹkọ nẹtiwọọki nkankikan. Up to ọjọ pẹlu CS231n .
Idinku gige - trimming paramita gradients nigba backpropagation ni awọn ti o pọju iye tabi iwonba iwuwasi. Wulo fun laasigbotitusita eyikeyi gradients exploding o le ba pade ni ojuami mẹta.
Ipese deede - lo lati ṣe deede data titẹ sii ti Layer kọọkan, eyiti o fun laaye laaye lati yanju iṣoro ti iyipada covariate inu. Ti o ba nlo Dropout ati Batch Norma papọ, .
Sitokasitik gradient ìsokale (SGD) - ọpọlọpọ awọn oriṣiriṣi SGD lo wa ti o lo ipa, awọn oṣuwọn ikẹkọ adaṣe ati ọna Nesterov. Sibẹsibẹ, ko si ọkan ninu wọn ti o ni anfani ti o han gbangba ni awọn ofin ti ṣiṣe ikẹkọ mejeeji ati gbogbogbo ().
Iṣatunṣe - jẹ pataki fun kikọ awoṣe gbogbogbo, nitori o ṣe afikun ijiya fun idiju awoṣe tabi awọn iye paramita to gaju. Eyi jẹ ọna lati dinku iyatọ awoṣe laisi jijẹ ojuṣaaju rẹ ni pataki. Die e sii .
Lati ṣe iṣiro ohun gbogbo funrararẹ, o nilo lati mu isọdọtun ṣiṣẹ ki o ṣayẹwo iwọn didun pipadanu data funrararẹ.
Sisọ silẹ jẹ ọna miiran ti ṣiṣatunṣe nẹtiwọọki rẹ lati yago fun idinku. Lakoko ikẹkọ, yiyọ kuro ni a ṣe nipasẹ mimu iṣẹ ṣiṣe ti neuron pẹlu iṣeeṣe p (hyperparameter) kan tabi ṣeto si odo ni ọran idakeji. Bi abajade, nẹtiwọọki gbọdọ lo ipin oriṣiriṣi ti awọn ayeraye fun ipele ikẹkọ kọọkan, eyiti o dinku awọn ayipada ninu awọn paramita kan ti o di alaga.
Pataki: Ti o ba lo mejeeji yiyọ kuro ati deede ipele, ṣọra nipa aṣẹ ti awọn iṣẹ wọnyi tabi paapaa lo wọn papọ. Gbogbo eyi ni a tun n sọrọ ni itara ati afikun. Eyi ni awọn ijiroro pataki meji lori koko yii и .
Iṣakoso iṣẹ
O jẹ nipa ṣiṣe kikọ awọn ṣiṣan iṣẹ ati awọn adanwo. Ti o ko ba ṣe akosile ohunkohun, o le gbagbe, fun apẹẹrẹ, kini oṣuwọn ẹkọ tabi awọn iwuwo kilasi ti a lo. Ṣeun si iṣakoso, o le ni rọọrun wo ati tun ṣe awọn adanwo iṣaaju. Eyi n gba ọ laaye lati dinku nọmba awọn idanwo ẹda-iwe.
Sibẹsibẹ, iwe afọwọṣe le di iṣẹ-ṣiṣe ti o nira ninu ọran ti iwọn iṣẹ nla kan. Eyi ni ibiti awọn irinṣẹ bii Comet.ml ti wọle lati ṣe iranlọwọ fun ọ lati wọle laifọwọyi awọn ipilẹ data, awọn iyipada koodu, itan idanwo, ati awọn awoṣe iṣelọpọ, pẹlu alaye bọtini nipa awoṣe rẹ (awọn iwọn hyperparameters, awọn metiriki iṣẹ awoṣe, ati alaye ayika).
Nẹtiwọọki nkankikan le jẹ ifarabalẹ pupọ si awọn ayipada kekere, ati pe eyi yoo ja si idinku ninu iṣẹ awoṣe. Titọpa ati ṣiṣe igbasilẹ iṣẹ rẹ jẹ igbesẹ akọkọ ti o le ṣe lati ṣe idiwọn agbegbe rẹ ati awoṣe.
Mo nireti pe ifiweranṣẹ yii le jẹ aaye ibẹrẹ fun ọ lati bẹrẹ ṣiṣatunṣe nẹtiwọọki nkankikan rẹ.
Skillbox ṣe iṣeduro:
- Ọdun meji iṣẹ ikẹkọ .
- Ẹkọ ori ayelujara .
- Eko odun to wulo .
orisun: www.habr.com