Рамзи маҳсулоти нармафзори омӯзиши мошин аксар вақт мураккаб ва печида аст. Ошкор ва бартараф кардани хатогихо дар он кори серталаб аст. Ҳатто соддатарин муносибати ҷиддиро ба меъмории шабака, оғоз кардани вазнҳо ва оптимизатсияи шабака талаб мекунад. Хатогии хурд метавонад ба мушкилоти ногувор оварда расонад.
Ин мақола дар бораи алгоритми ислоҳи шабакаҳои нейронии шумост.
Skillbox тавсия медиҳад: Курси амалӣ .
Мо ба шумо хотиррасон мекунем: барои ҳамаи хонандагони "Habr" - тахфифи 10 000 рубл ҳангоми номнавис шудан ба курсҳои Skillbox бо истифода аз рамзи таблиғотии "Habr".
Алгоритм аз панҷ марҳила иборат аст:
- оғози осон;
- тасдиқи талафот;
- тафтиши натиҷаҳо ва пайвастҳои мобайнӣ;
- ташхиси параметрҳо;
- назорати кор.
Агар чизе ба шумо назар ба дигарон ҷолибтар бошад, шумо метавонед фавран ба ин бахшҳо гузаред.
Оғози осон
Шабакаи нейронии дорои меъмории мураккаб, регулятсия ва ҷадвалбандии суръати омӯзиш нисбат ба шабакаи муқаррарӣ мушкилтар аст. Мо дар ин ҷо каме душворӣ дорем, зеро худи ин нукта ба таври ғайримустақим бо ислоҳи ислоҳ алоқаманд аст, аммо ин ҳанӯз тавсияи муҳим аст.
Оғози оддӣ ин сохтани модели соддакардашуда ва омӯзонидани он дар як маҷмӯи (нуқтаи) додаҳо мебошад.
Аввалан мо модели соддакардашударо эҷод мекунем
Барои зуд оғоз кардан, мо як шабакаи хурд бо як қабати пинҳонӣ эҷод мекунем ва тафтиш мекунем, ки ҳама чиз дуруст кор мекунад. Сипас, мо тадриҷан моделро мураккаб карда, ҳар як ҷанбаи нави сохтори онро (қабати иловагӣ, параметр ва ғайра) тафтиш мекунем ва ба пеш ҳаракат мекунем.
Мо моделро дар як маҷмӯи (нуқта) маълумот таълим медиҳем
Ҳамчун санҷиши зуди солим барои лоиҳаи худ, шумо метавонед як ё ду нуқтаи маълумотро барои тасдиқи дурустии система истифода баред. Шабакаи нейрон бояд дар омӯзиш ва санҷиш 100% дақиқиро нишон диҳад. Агар ин тавр набошад, пас ё модел хеле хурд аст ё шумо аллакай хато доред.
Ҳатто агар ҳамааш хуб бошад ҳам, пеш аз гузаштан моделро барои як ё якчанд давраҳо омода кунед.
Арзёбии талафот
Баҳодиҳии талафот роҳи асосии такмил додани фаъолияти модел мебошад. Шумо бояд боварӣ ҳосил кунед, ки талафот ба мушкилот мувофиқ аст ва функсияҳои талафот дар миқёси дуруст баҳо дода шудаанд. Агар шумо зиёда аз як намуди талафотро истифода баред, боварӣ ҳосил кунед, ки онҳо ҳама як тартиб ва миқёси дуруст доранд.
Муҳим аст, ки ба талафоти ибтидоӣ диққат диҳед. Санҷед, ки то чӣ андоза натиҷаи воқеӣ ба натиҷаи интизорӣ наздик аст, агар модел бо тахмини тасодуфӣ оғоз шавад. ДАР : "Боварӣ ҳосил кунед, ки шумо натиҷаи интизории худро ба даст меоред, вақте ки шумо бо шумораи ками параметрҳо оғоз мекунед. Беҳтар аст, ки фавран талафоти маълумотро тафтиш кунед (бо дараҷаи муқаррарӣ ба сифр муқаррар карда шудааст). Масалан, барои CIFAR-10 бо таснифи Softmax, мо интизорем, ки талафоти ибтидоӣ 2.302 бошад, зеро эҳтимолияти диффузии пешбинишуда барои ҳар як синф 0,1 аст (зеро 10 синф вуҷуд дорад) ва талафоти Softmax эҳтимолияти манфии логистикии синфи дуруст аст. ҳамчун − ln (0.1) = 2.302.”
Барои мисоли дуӣ, ҳисобкунии шабеҳ танҳо барои ҳар як синф анҷом дода мешавад. Дар ин ҷо, масалан, маълумот: 20% 0 ва 80% 1. Зарари ибтидоии пешбинишуда то -0,2 ллн (0,5) -0,8 лон (0,5) = 0,693147 хоҳад буд. Агар натиҷа аз 1 зиёд бошад, ин метавонад нишон диҳад, ки вазнҳои шабакаи нейронӣ дуруст мутавозин нашудаанд ё маълумот ба эътидол оварда нашудааст.
Санҷиши натиҷаҳо ва пайвастҳои мобайнӣ
Барои ислоҳи шабакаи нейронӣ динамикаи равандҳои дохили шабака ва нақши қабатҳои мобайнии инфиродиро ҳангоми пайвастшавӣ фаҳмидан лозим аст. Инҳоянд хатогиҳои маъмуле, ки шумо метавонед дучор шавед:
- ифодаҳои нодуруст барои навсозиҳои gradle;
- навсозии вазн истифода намешаванд;
- градиентҳои тарканда.
Агар арзишҳои градиент сифр бошанд, ин маънои онро дорад, ки суръати омӯзиш дар оптимизатор хеле суст аст ё шумо барои навсозии градиент бо ифодаи нодуруст дучор мешавед.
Илова бар ин, назорат кардани арзишҳои функсияҳои фаъолсозӣ, вазнҳо ва навсозии ҳар як қабат зарур аст. Масалан, бузургии навсозии параметрҳо (вазнҳо ва ғаразҳо) .
Як падидае вуҷуд дорад, ки "Dying ReLU" ё , вақте ки нейронҳои ReLU пас аз омӯхтани арзиши бузурги манфии вазнҳои он сифр мебароранд. Ин нейронҳо ҳеҷ гоҳ дар ягон нуқтаи маълумот дигар бор карда намешаванд.
Шумо метавонед санҷиши градиентро барои муайян кардани ин хатогиҳо тавассути наздик кардани градиент бо истифода аз равиши ададӣ истифода баред. Агар он ба градиентҳои ҳисобшуда наздик бошад, пас паҳншавӣ дуруст амалӣ карда шудааст. Барои сохтани чеки градиент, ин захираҳои бузургро аз CS231 санҷед и , инчунин бо Эндрю Нга дар ин мавзӯъ.
се усули асосии визуализатсияи шабакаи нейронро нишон медиҳад:
- Пешниҳодҳо усулҳои оддӣ мебошанд, ки ба мо сохтори умумии модели таълимшударо нишон медиҳанд. Инҳо баромади шаклҳо ё филтрҳои қабатҳои алоҳидаи шабакаи нейрон ва параметрҳои дохили ҳар як қабатро дар бар мегиранд.
- Фаъолсозӣ дар асоси. Дар онҳо, мо фаъолшавии нейронҳои инфиродӣ ё гурӯҳҳои нейронҳоро барои фаҳмидани вазифаҳои онҳо мефаҳмем.
- Дар асоси градиентҳо. Ин усулҳо майл доранд, ки градиентҳоро, ки аз гузаришҳои пеш ва қафои омӯзиши моделӣ ташаккул меёбанд (аз ҷумла харитаҳои барҷаста ва харитаҳои фаъолсозии синфҳо).
Якчанд асбобҳои муфид барои визуализатсияи фаъолсозӣ ва пайвастҳои қабатҳои алоҳида мавҷуданд, масалан. и .
Ташхиси параметр
Шабакаҳои нейрон параметрҳои зиёде доранд, ки бо ҳамдигар ҳамкорӣ мекунанд, ки оптимизатсияро душвор мегардонад. Воқеан, ин бахш мавзӯи тадқиқоти фаъоли мутахассисон мебошад, бинобар ин, пешниҳодҳои дар поён овардашуда бояд танҳо ҳамчун маслиҳат, нуктаҳои ибтидоӣ, ки аз он сохта мешаванд, баррасӣ карда шаванд.
Андозаи баста (андозаи партия) - Агар шумо хоҳед, ки андозаи партия ба қадри кофӣ калон бошад, то баҳодиҳии дақиқи градиенти хатогиҳоро ба даст орад, аммо барои ба эътидол овардани шабакаи шумо кофӣ хурд бошад. Андозаҳои хурди партия ба конвергенсияи зуд аз сабаби садо дар ҷараёни таълим ва баъдан ба мушкилоти оптимизатсия оварда мерасонанд. Ин муфассалтар тасвир шудааст .
Сатҳи омӯзиш - хеле паст боиси конвергенсияи суст ё хатари часпидан дар минимуми маҳаллӣ мегардад. Дар айни замон, суръати баланди омӯзиш боиси ихтилофи оптимизатсия мегардад, зеро шумо хавфи аз қисми амиқ, вале танги функсияи гум шуданро доред. Кӯшиш кунед, ки ҷадвалбандии суръатро ҳангоми омӯзиши шабакаи нейронӣ кам кунед. То ба имрӯз бо CS231n .
Буридани градиент — буридани градиентҳои параметрӣ ҳангоми бозгашт паҳншавӣ бо арзиши максималӣ ё меъёри ниҳоӣ. Барои бартараф кардани мушкилот дар ҳама гуна градиентҳои таркандае, ки шумо дар банди сеюм дучор мешавед, муфид аст.
Нормализатсияи партия - барои ба эътидол овардани маълумоти воридотии ҳар як қабат истифода мешавад, ки ба мо имкон медиҳад, ки масъалаи тағирёбии ковариатсияҳои дохилиро ҳал кунем. Агар шумо Dropout ва Batch Norma-ро якҷоя истифода баред, .
Пастшавии градиенти стохастикӣ (SGD) - якчанд навъҳои SGD мавҷуданд, ки импулс, суръати мутобиқшавӣ ва усули Нестеровро истифода мебаранд. Аммо, ҳеҷ яке аз онҳо ҳам аз ҷиҳати самаранокии омӯзиш ва ҳам аз ҷиҳати умумӣ бартарии равшане надорад ().
Танзимкунӣ - барои сохтани модели умумӣ муҳим аст, зеро он барои мураккабии модел ё арзишҳои параметрҳои шадид ҷазо илова мекунад. Ин як роҳи коҳиш додани ихтилофи моделҳо бидуни зиёд кардани ғарази он мебошад. Бештар .
Барои худатон баҳо додан ба ҳама чиз, шумо бояд танзимро хомӯш кунед ва градиенти талафоти маълумотро худатон тафтиш кунед.
Тарки мактаб як усули дигари ба тартиб даровардани шабакаи шумо барои пешгирии банд аст. Ҳангоми омӯзиш тарки мактаб танҳо тавассути нигоҳ доштани фаъолияти нейрон бо эҳтимолияти муайяни p (гиперпараметр) ё дар ҳолати муқобил ба сифр гузоштани он амалӣ карда мешавад. Дар натиҷа, шабака бояд барои ҳар як партияи омӯзишӣ зермаҷмӯи гуногуни параметрҳоро истифода барад, ки тағиротро дар параметрҳои муайяне, ки бартарӣ доранд, коҳиш медиҳад.
Муҳим: Агар шумо ҳам тарки мактаб ва ҳам нормализатсияи бастаро истифода баред, дар бораи тартиби ин амалҳо эҳтиёт шавед ё ҳатто онҳоро якҷоя истифода баред. Хамаи ин холо хам фаъолона мухокима ва пурра карда мешавад. Дар ин ҷо ду баҳси муҳим дар ин мавзӯъ ҳастанд и .
Назорати кор
Ин дар бораи ҳуҷҷатгузории ҷараёнҳои корӣ ва таҷрибаҳо мебошад. Агар шумо ягон чизро ҳуҷҷат надиҳед, шумо метавонед фаромӯш кунед, масалан, кадом суръати омӯзиш ё вазнҳои синф истифода мешаванд. Бо шарофати назорат, шумо метавонед таҷрибаҳои қаблиро ба осонӣ дидан ва дубора тавлид кунед. Ин ба шумо имкон медиҳад, ки шумораи таҷрибаҳои такрориро кам кунед.
Бо вуҷуди ин, ҳуҷҷатгузории дастӣ дар сурати ҳаҷми зиёди кор метавонад кори душвор гардад. Дар ин ҷо асбобҳо ба монанди Comet.ml ворид мешаванд, то ба шумо дар сабти ба таври худкор маҷмӯи додаҳо, тағиротҳои код, таърихи таҷрибавӣ ва моделҳои истеҳсолӣ, аз ҷумла маълумоти калидӣ дар бораи модели шумо (гиперпараметрҳо, ченакҳои иҷрои модел ва иттилооти муҳити зист) кӯмак расонанд.
Шабакаи нейрон метавонад ба тағйироти хурд хеле ҳассос бошад ва ин боиси паст шудани кори модел мегардад. Пайгирӣ ва ҳуҷҷатгузории кори шумо қадами аввалинест, ки шумо метавонед барои стандартизатсияи муҳити зист ва моделсозӣ кунед.
Умедворам, ки ин паём метавонад як нуқтаи ибтидоӣ барои шумо барои оғоз кардани ислоҳи шабакаи нейронии шумо бошад.
Skillbox тавсия медиҳад:
- Курси дусолаи амалй .
- Курси онлайн .
- Курси солонаи амалӣ .
Манбаъ: will.com