Работа со невронски мрежи: листа за проверка за дебагирање

Кодот на софтверските производи за машинско учење е често сложен и прилично збунувачки. Откривањето и елиминирањето на грешки во него е задача која бара ресурси. Дури и наједноставниот повратни невронски мрежи бараат сериозен пристап кон мрежната архитектура, иницијализација на тежините и оптимизација на мрежата. Една мала грешка може да доведе до непријатни проблеми.

Оваа статија е за алгоритам за дебагирање на вашите невронски мрежи.

Skillbox препорачува: Практичен курс Развивач на Python од нула.

Потсетуваме: за сите читатели на „Хабр“ - попуст од 10 рубли при запишување на кој било курс Skillbox користејќи го промотивниот код „Хабр“.

Алгоритмот се состои од пет фази:

• лесен почеток;
• потврда за загуби;
• проверка на средни резултати и врски;
• дијагностика на параметри;
• контрола на работата.

Ако нешто ви изгледа поинтересно од останатото, можете веднаш да прескокнете на овие делови.

Лесен почеток

Невронска мрежа со сложена архитектура, регулација и распоредувач на стапки на учење е потешко да се дебагира отколку обична. Овде сме малку незгодни, бидејќи самата поента е индиректно поврзана со дебагирање, но ова е сепак важна препорака.

Едноставен почеток е да се создаде поедноставен модел и да се обучи на една група (точка) податоци.

Прво создаваме поедноставен модел

За да започнеме брзо, создаваме мала мрежа со еден скриен слој и проверуваме дали сè работи правилно. Потоа постепено го комплицираме моделот, проверувајќи го секој нов аспект на неговата структура (дополнителен слој, параметар итн.) и продолжуваме понатаму.

Ние го обучуваме моделот на една група (точка) податоци

Како брза проверка на разумот за вашиот проект, можете да користите една или две точки за податоци за обука за да потврдите дали системот работи правилно. Невронската мрежа мора да покаже 100% точност во обуката и тестирањето. Ако ова не е случај, тогаш или моделот е премал или веќе имате грешка.

Дури и ако се е во ред, подгответе го моделот за една или повеќе епохи пред да продолжите понатаму.

Проценка на загуба

Проценката на загубата е главниот начин да се усовршат перформансите на моделот. Треба да се осигурате дека загубата е соодветна на проблемот и дека функциите за загуба се оценети на правилна скала. Ако користите повеќе од еден тип на загуба, проверете дали сите се со ист редослед и правилно измерени.

Важно е да се биде внимателен на почетните загуби. Проверете колку вистинскиот резултат е близок до очекуваниот резултат ако моделот започнал со случајно погодување. ВО Работата на Андреј Карпати го сугерира следново:: „Погрижете се да го добиете резултатот што го очекувате кога ќе започнете со мал број параметри. Подобро е веднаш да се провери загубата на податоци (со степенот на регулација поставен на нула). На пример, за CIFAR-10 со Softmax класификатор, очекуваме почетната загуба да биде 2.302 бидејќи очекуваната дифузна веројатност е 0,1 за секоја класа (бидејќи има 10 класи) и загубата на Softmax е негативна лог веројатност за точната класа како − ln (0.1) = 2.302.”

За бинарниот пример, едноставно се прави слична пресметка за секоја од класите. Еве, на пример, податоците: 20% 0 и 80% 1. Очекуваната почетна загуба ќе биде до –0,2ln (0,5) –0,8ln (0,5) = 0,693147. Ако резултатот е поголем од 1, тоа може да укаже дека тежините на невронската мрежа не се правилно избалансирани или податоците не се нормализирани.

Проверка на средни резултати и врски

За да се дебагира невронската мрежа, неопходно е да се разбере динамиката на процесите во мрежата и улогата на поединечните средни слоеви додека се поврзани. Еве ги вообичаените грешки на кои може да наидете:

• неточни изрази за ажурирања на gradle;
• ажурирањата на тежината не се применуваат;
• експлодирачки градиенти.

Ако вредностите на градиентот се нула, тоа значи дека брзината на учење во оптимизатор е премногу бавна или дека наидувате на неточен израз за ажурирање на градиентот.

Покрај тоа, неопходно е да се следат вредностите на функциите за активирање, тежините и ажурирањата на секој од слоевите. На пример, големината на ажурирањата на параметрите (тежини и предрасуди) треба да биде 1-e3.

Постои феномен наречен „Dying ReLU“ или „проблем со градиент што исчезнува“, кога ReLU невроните ќе излезат нула откако ќе научат голема негативна вредност на пристрасност за нејзините тежини. Овие неврони никогаш повеќе не се активираат во ниту еден момент од податоците.

Можете да користите проверка на градиент за да ги идентификувате овие грешки со приближување на градиентот користејќи нумерички пристап. Ако е блиску до пресметаните градиенти, тогаш позадинското ширење е правилно спроведено. За да креирате проверка на градиент, проверете ги овие одлични ресурси од CS231 тука и тукаКако и лекција Ендрју Нга на оваа тема.

Фајзан Шеик укажува на три главни методи за визуелизација на невронска мрежа:

• Прелиминарните се едноставни методи кои ни ја покажуваат општата структура на обучениот модел. Тие вклучуваат излез на облици или филтри на поединечните слоеви на невронската мрежа и параметрите во секој слој.
• Врз основа на активирање. Во нив, ние ги дешифрираме активациите на поединечни неврони или групи на неврони за да ги разбереме нивните функции.
• Врз основа на градиенти. Овие методи имаат тенденција да манипулираат со градиентите кои се формираат од напредните и назадните премини на обуката на моделите (вклучувајќи мапи на истакнати и мапи за активирање на класи).

Постојат неколку корисни алатки за визуелизирање на активирањата и поврзувањата на поединечните слоеви, на пр. ConX и Тензорборд.

Дијагностика на параметри

Невронските мрежи имаат многу параметри кои комуницираат едни со други, што ја комплицира оптимизацијата. Всушност, овој дел е предмет на активно истражување од страна на специјалисти, така што предлозите подолу треба да се сметаат само како совети, појдовни точки од кои треба да се изгради.

Големина на пакувањето (големина на серијата) - Ако сакате големината на серијата да биде доволно голема за да се добијат точни проценки на градиентот на грешки, но доволно мала за стохастичко спуштање на градиент (SGD) да ја регулира вашата мрежа. Малите големини на серии ќе доведат до брзо конвергенција поради бучава за време на процесот на обука и последователно до тешкотии при оптимизација. Ова е опишано подетално тука.

Стапка на учење - премногу ниско ќе доведе до бавна конвергенција или ризик да заглавите во локалните минимуми. Во исто време, високата стапка на учење ќе предизвика дивергенција во оптимизацијата бидејќи ризикувате да прескокнете низ длабокиот, но тесен дел од функцијата за загуба. Обидете се да користите распоред за брзина за да го намалите додека ја тренирате невронската мрежа. Ажурирано со CS231n има голем дел посветен на овој проблем.

Градиент отсекување  — отсекување на градиентите на параметарот за време на задна пропагирање со максимална вредност или маргинална норма. Корисно за решавање проблеми на сите експлодирачки градиенти што може да ги сретнете во точката три.

Нормализација на серијата - се користи за нормализирање на влезните податоци на секој слој, што го решава проблемот на внатрешно коваријатно поместување. Ако користите Dropout и Batch Norma заедно, проверете го овој напис.

Стохастичко спуштање со градиент (SGD) — постојат неколку варијанти на SGD кои користат импулс, адаптивни стапки на учење и методот Нестеров. Сепак, ниту еден од нив нема јасна предност и во однос на ефикасноста на учењето и генерализацијата (детали тука).

Регулација - е од клучно значење за изградба на генерализиран модел, бидејќи додава казна за сложеноста на моделот или екстремните вредности на параметрите. Ова е начин да се намали варијансата на моделот без значително да се зголеми неговата пристрасност. Повеќе детални информации - овде.

За да оцените сè сами, треба да ја оневозможите регуларацијата и сами да го проверите градиентот на загуба на податоци.

Откажување е уште еден метод за рационализација на вашата мрежа за да се спречи метеж. За време на тренингот, напуштањето се врши само со одржување на активноста на невронот со одредена веројатност p (хиперпараметар) или поставување на нула во спротивен случај. Како резултат на тоа, мрежата мора да користи различно подмножество на параметри за секоја серија на обука, што ги намалува промените во одредени параметри кои стануваат доминантни.

Важно: ако користите и осипување и нормализација на серија, внимавајте на редоследот на овие операции или дури и да ги користите заедно. Сето ова се уште активно се дискутира и дополнува. Еве две важни дискусии на оваа тема на Stackoverflow и Арксив.

Контрола на работата

Станува збор за документирање на работни текови и експерименти. Ако не документирате ништо, може да заборавите, на пример, која стапка на учење или тежини на часовите се користат. Благодарение на контролата, можете лесно да ги гледате и репродуцирате претходните експерименти. Ова ви овозможува да го намалите бројот на дупликати експерименти.

Сепак, мануелната документација може да стане тешка задача во случај на голем обем на работа. Тука доаѓаат алатките како Comet.ml за да ви помогнат автоматски да ги евидентирате збирките на податоци, промените на кодот, експерименталната историја и моделите на производство, вклучувајќи клучни информации за вашиот модел (хиперпараметри, метрика на перформансите на моделот и информации за животната средина).

Невралната мрежа може да биде многу чувствителна на мали промени, а тоа ќе доведе до пад на перформансите на моделот. Следењето и документирањето на вашата работа е првиот чекор што можете да го преземете за стандардизирање на вашата околина и моделирање.

Се надевам дека овој пост може да биде почетна точка за да започнете со дебагирање на вашата нервна мрежа.

Skillbox препорачува:

• Двегодишен практичен курс „Јас сум PRO веб-развивач“.
• Онлајн курс „C# програмер од 0“.
• Практичен годишен курс „Програмер на PHP од 0 до PRO“.

Извор: www.habr.com