ન્યુરલ નેટવર્ક્સ સાથે કામ કરવું: ડિબગીંગ માટે ચેકલિસ્ટ

મશીન લર્નિંગ સૉફ્ટવેર ઉત્પાદનોનો કોડ ઘણીવાર જટિલ અને તદ્દન ગૂંચવણભર્યો હોય છે. તેમાં ભૂલો શોધવી અને તેને દૂર કરવી એ સંસાધન-સઘન કાર્ય છે. સૌથી સરળ પણ ફીડફોરર્ડ ન્યુરલ નેટવર્ક્સ નેટવર્ક આર્કિટેક્ચર, વજનની શરૂઆત અને નેટવર્ક ઑપ્ટિમાઇઝેશન માટે ગંભીર અભિગમની જરૂર છે. એક નાની ભૂલ અપ્રિય સમસ્યાઓ તરફ દોરી શકે છે.

આ લેખ તમારા ન્યુરલ નેટવર્કને ડીબગ કરવા માટેના અલ્ગોરિધમ વિશે છે.

સ્કિલબોક્સ ભલામણ કરે છે: પ્રેક્ટિકલ કોર્સ શરૂઆતથી પાયથોન ડેવલપર.

અમે યાદ કરાવીએ છીએ: Habrના તમામ વાચકો માટે - Habr પ્રોમો કોડનો ઉપયોગ કરીને કોઈપણ સ્કિલબોક્સ કોર્સમાં નોંધણી કરતી વખતે 10 રૂબલ ડિસ્કાઉન્ટ.

અલ્ગોરિધમમાં પાંચ તબક્કાઓનો સમાવેશ થાય છે:

• સરળ શરૂઆત;
• નુકસાનની પુષ્ટિ;
• મધ્યવર્તી પરિણામો અને જોડાણો તપાસવું;
• પેરામીટર ડાયગ્નોસ્ટિક્સ;
• કામ પર નિયંત્રણ.

જો તમને બાકીના કરતાં કંઈક વધુ રસપ્રદ લાગતું હોય, તો તમે તરત જ આ વિભાગોને છોડી શકો છો.

સરળ શરૂઆત

જટિલ આર્કિટેક્ચર, રેગ્યુલરાઇઝેશન અને લર્નિંગ રેટ શેડ્યૂલર સાથેનું ન્યુરલ નેટવર્ક નિયમિત કરતાં ડિબગ કરવું વધુ મુશ્કેલ છે. અમે અહીં થોડું મુશ્કેલ બની રહ્યા છીએ, કારણ કે બિંદુ પોતે પરોક્ષ રીતે ડિબગીંગ સાથે સંબંધિત છે, પરંતુ આ હજુ પણ એક મહત્વપૂર્ણ ભલામણ છે.

એક સરળ શરૂઆત એ છે કે એક સરળ મોડેલ બનાવવું અને તેને ડેટાના એક સેટ (બિંદુ) પર તાલીમ આપવી.

પ્રથમ આપણે એક સરળ મોડેલ બનાવીએ છીએ

ઝડપથી પ્રારંભ કરવા માટે, અમે એક છુપાયેલા સ્તર સાથે એક નાનું નેટવર્ક બનાવીએ છીએ અને તપાસીએ છીએ કે બધું યોગ્ય રીતે કાર્ય કરે છે. પછી અમે ધીમે ધીમે મોડેલને જટિલ બનાવીએ છીએ, તેની રચનાના દરેક નવા પાસાને તપાસીએ છીએ (વધારાના સ્તર, પરિમાણ, વગેરે), અને આગળ વધીએ છીએ.

અમે ડેટાના એક સેટ (બિંદુ) પર મોડેલને તાલીમ આપીએ છીએ

તમારા પ્રોજેક્ટ માટે ઝડપી સેનિટી ચેક તરીકે, તમે સિસ્ટમ યોગ્ય રીતે કામ કરી રહી છે કે કેમ તેની ખાતરી કરવા માટે તાલીમ માટે એક કે બે ડેટા પોઈન્ટનો ઉપયોગ કરી શકો છો. ન્યુરલ નેટવર્કે તાલીમ અને પરીક્ષણમાં 100% ચોકસાઈ દર્શાવવી જોઈએ. જો આ કિસ્સો નથી, તો કાં તો મોડેલ ખૂબ નાનું છે અથવા તમારી પાસે પહેલેથી જ બગ છે.

જો બધું બરાબર છે, તો પણ આગળ વધતા પહેલા એક અથવા વધુ યુગ માટે મોડેલ તૈયાર કરો.

નુકશાન આકારણી

નુકસાનનો અંદાજ એ મોડેલના પ્રદર્શનને સુધારવાનો મુખ્ય માર્ગ છે. તમારે ખાતરી કરવાની જરૂર છે કે નુકસાન સમસ્યા માટે યોગ્ય છે અને નુકસાનના કાર્યોને યોગ્ય સ્કેલ પર રેટ કરવામાં આવ્યા છે. જો તમે એક કરતાં વધુ નુકસાનના પ્રકારનો ઉપયોગ કરો છો, તો ખાતરી કરો કે તે બધા સમાન ક્રમના છે અને યોગ્ય રીતે માપવામાં આવ્યા છે.

પ્રારંભિક નુકસાન પ્રત્યે સચેત રહેવું મહત્વપૂર્ણ છે. જો મોડેલ રેન્ડમ અનુમાન સાથે શરૂ થયું હોય તો વાસ્તવિક પરિણામ અપેક્ષિત પરિણામની કેટલું નજીક છે તે તપાસો. IN આન્દ્રે કાર્પથીનું કાર્ય નીચેના સૂચવે છે:: “જ્યારે તમે નાની સંખ્યામાં પરિમાણો સાથે પ્રારંભ કરો છો ત્યારે તમને અપેક્ષા મુજબનું પરિણામ મળે તેની ખાતરી કરો. ડેટા નુકશાન (નિયમિતીકરણની ડિગ્રી શૂન્ય પર સેટ સાથે) તરત જ તપાસવું વધુ સારું છે. ઉદાહરણ તરીકે, સોફ્ટમેક્સ ક્લાસિફાયર સાથે CIFAR-10 માટે, અમે પ્રારંભિક નુકસાન 2.302 થવાની અપેક્ષા રાખીએ છીએ કારણ કે દરેક વર્ગ માટે અપેક્ષિત પ્રસરેલી સંભાવના 0,1 છે (કારણ કે ત્યાં 10 વર્ગો છે) અને Softmax નુકશાન એ યોગ્ય વર્ગની નકારાત્મક લોગ સંભાવના છે. −ln (0.1) = 2.302 તરીકે.”

દ્વિસંગી ઉદાહરણ માટે, સમાન ગણતરી દરેક વર્ગો માટે સરળ રીતે કરવામાં આવે છે. અહીં, ઉદાહરણ તરીકે, ડેટા છે: 20% 0 અને 80% 1. અપેક્ષિત પ્રારંભિક નુકસાન –0,2ln (0,5) –0,8ln (0,5) = 0,693147 સુધી હશે. જો પરિણામ 1 કરતા વધારે હોય, તો તે સૂચવી શકે છે કે ન્યુરલ નેટવર્ક વજન યોગ્ય રીતે સંતુલિત નથી અથવા ડેટા સામાન્ય નથી.

મધ્યવર્તી પરિણામો અને જોડાણો તપાસી રહ્યું છે

ન્યુરલ નેટવર્કને ડીબગ કરવા માટે, નેટવર્કની અંદર પ્રક્રિયાઓની ગતિશીલતા અને વ્યક્તિગત મધ્યવર્તી સ્તરોની ભૂમિકાને સમજવી જરૂરી છે કારણ કે તેઓ જોડાયેલા છે. અહીં સામાન્ય ભૂલો છે જેનો તમે સામનો કરી શકો છો:

• ગ્રેડલ અપડેટ્સ માટે ખોટા અભિવ્યક્તિઓ;
• વજન અપડેટ્સ લાગુ નથી;
• વિસ્ફોટિત ઢાળ.

જો ઢાળના મૂલ્યો શૂન્ય હોય, તો આનો અર્થ એ છે કે ઑપ્ટિમાઇઝરમાં શીખવાની દર ખૂબ ધીમી છે, અથવા તમે ગ્રેડિયન્ટને અપડેટ કરવા માટે ખોટી અભિવ્યક્તિનો સામનો કરી રહ્યાં છો.

આ ઉપરાંત, દરેક સ્તરોના સક્રિયકરણ કાર્યો, વજન અને અપડેટ્સના મૂલ્યોનું નિરીક્ષણ કરવું જરૂરી છે. ઉદાહરણ તરીકે, પરિમાણ અપડેટ્સની તીવ્રતા (વજન અને પૂર્વગ્રહો) 1-e3 હોવો જોઈએ.

"Dying ReLU" અથવા નામની ઘટના છે "ગ્રેડિયન્ટ સમસ્યા અદ્રશ્ય થઈ રહી છે", જ્યારે ReLU ન્યુરોન્સ તેના વજન માટે મોટી નકારાત્મક પૂર્વગ્રહ મૂલ્ય શીખ્યા પછી શૂન્યનું આઉટપુટ કરશે. ડેટાના કોઈપણ બિંદુએ આ ચેતાકોષો ફરી ક્યારેય બરતરફ થતા નથી.

તમે આંકડાકીય અભિગમનો ઉપયોગ કરીને અંદાજિત ઢાળ દ્વારા આ ભૂલોને ઓળખવા માટે ગ્રેડિયન્ટ ચકાસણીનો ઉપયોગ કરી શકો છો. જો તે ગણતરી કરેલ ગ્રેડિએન્ટ્સની નજીક છે, તો પછી બેકપ્રોપેશન યોગ્ય રીતે લાગુ કરવામાં આવ્યું હતું. ગ્રેડિયન્ટ ચેક બનાવવા માટે, CS231 માંથી આ મહાન સંસાધનો તપાસો અહીં и અહીંઅને સાથે પણ પાઠ એન્ડ્રુ એનગા આ વિષય પર.

ફૈઝાન શેખ ન્યુરલ નેટવર્કની કલ્પના કરવા માટે ત્રણ મુખ્ય પદ્ધતિઓ સૂચવે છે:

• પ્રારંભિક એ સરળ પદ્ધતિઓ છે જે અમને પ્રશિક્ષિત મોડેલની સામાન્ય રચના દર્શાવે છે. આમાં ન્યુરલ નેટવર્કના વ્યક્તિગત સ્તરોના આકાર અથવા ફિલ્ટર્સનું આઉટપુટ અને દરેક સ્તરની અંદરના પરિમાણોનો સમાવેશ થાય છે.
• સક્રિયકરણ આધારિત. તેમાં, અમે વ્યક્તિગત ચેતાકોષો અથવા ચેતાકોષોના જૂથોના સક્રિયકરણોને તેમના કાર્યોને સમજવા માટે સમજાવીએ છીએ.
• ગ્રેડિયન્ટ પર આધારિત. આ પદ્ધતિઓ મોડલ તાલીમના આગળ અને પાછળના પાસથી બનેલા ગ્રેડિએન્ટ્સને ચાલાકી કરે છે (જેમાં સેલિન્સી નકશા અને વર્ગ સક્રિયકરણ નકશાનો સમાવેશ થાય છે).

વ્યક્તિગત સ્તરોના સક્રિયકરણ અને જોડાણોની કલ્પના કરવા માટે ઘણા ઉપયોગી સાધનો છે, દા.ત. કોન્એક્સ и ટેન્સરબોર્ડ.

પેરામીટર ડાયગ્નોસ્ટિક્સ

ન્યુરલ નેટવર્ક્સમાં ઘણા બધા પરિમાણો છે જે એકબીજા સાથે ક્રિયાપ્રતિક્રિયા કરે છે, જે ઑપ્ટિમાઇઝેશનને જટિલ બનાવે છે. વાસ્તવમાં, આ વિભાગ નિષ્ણાતો દ્વારા સક્રિય સંશોધનનો વિષય છે, તેથી નીચે આપેલા સૂચનોને માત્ર સલાહ તરીકે જ ધ્યાનમાં લેવા જોઈએ, જેમાંથી નિર્માણ કરવાનું છે.

પેકેજ કદ (બેચનું કદ) - જો તમે ઇચ્છો છો કે બેચનું કદ ચોક્કસ ભૂલ ગ્રેડિયન્ટ અંદાજો મેળવવા માટે એટલું મોટું હોય, પરંતુ તમારા નેટવર્કને નિયમિત કરવા માટે સ્ટોકેસ્ટિક ગ્રેડિયન્ટ ડિસેન્ટ (SGD) માટે પૂરતું નાનું હોય. તાલીમ પ્રક્રિયા દરમિયાન અવાજ અને ત્યારબાદ ઑપ્ટિમાઇઝેશનની મુશ્કેલીઓને કારણે નાના બેચના કદ ઝડપી કન્વર્જન્સ તરફ દોરી જશે. આ વધુ વિગતવાર વર્ણવેલ છે અહીં.

શીખવાની દર - ખૂબ ઓછું ધીમા કન્વર્જન્સ તરફ દોરી જશે અથવા સ્થાનિક મિનિમામાં અટવાઇ જવાનું જોખમ. તે જ સમયે, ઉચ્ચ શિક્ષણ દર ઓપ્ટિમાઇઝેશન ડાયવર્જન્સનું કારણ બનશે કારણ કે તમે નુકશાન કાર્યના ઊંડા પરંતુ સાંકડા ભાગમાંથી કૂદવાનું જોખમ લો છો. ન્યુરલ નેટવર્કને તાલીમ આપતી વખતે તેને ઘટાડવા માટે સ્પીડ શેડ્યુલિંગનો ઉપયોગ કરવાનો પ્રયાસ કરો. CS231n સાથે અદ્યતન આ સમસ્યાને સમર્પિત એક મોટો વિભાગ છે.

ગ્રેડિયન્ટ ક્લિપિંગ  - મહત્તમ મૂલ્ય અથવા સીમાંત ધોરણે બેકપ્રોપેગેશન દરમિયાન પેરામીટર ગ્રેડિયન્ટને ટ્રિમ કરવું. પોઈન્ટ XNUMX માં તમને મળી શકે તેવા કોઈપણ વિસ્ફોટક ગ્રેડિએન્ટ્સના મુશ્કેલીનિવારણ માટે ઉપયોગી.

બેચ નોર્મલાઇઝેશન - દરેક સ્તરના ઇનપુટ ડેટાને સામાન્ય બનાવવા માટે વપરાય છે, જે અમને આંતરિક કોવેરિયેટ શિફ્ટની સમસ્યાને ઉકેલવા માટે પરવાનગી આપે છે. જો તમે ડ્રોપઆઉટ અને બેચ નોર્માને એકસાથે વાપરી રહ્યા છો, આ લેખ તપાસો.

સ્ટોકેસ્ટિક ગ્રેડિયન્ટ ડિસેન્ટ (SGD) - SGD ની ઘણી જાતો છે જે ગતિ, અનુકૂલનશીલ શિક્ષણ દર અને નેસ્ટેરોવ પદ્ધતિનો ઉપયોગ કરે છે. જો કે, શીખવાની કાર્યક્ષમતા અને સામાન્યીકરણ બંનેની દ્રષ્ટિએ તેમાંથી કોઈનો સ્પષ્ટ ફાયદો નથી (વિગતો અહીં).

નિયમિતકરણ - સામાન્યીકરણ કરી શકાય તેવું મોડેલ બનાવવા માટે મહત્વપૂર્ણ છે, કારણ કે તે મોડેલની જટિલતા અથવા આત્યંતિક પરિમાણ મૂલ્યો માટે દંડ ઉમેરે છે. આ તેના પૂર્વગ્રહને નોંધપાત્ર રીતે વધાર્યા વિના મોડેલના તફાવતને ઘટાડવાનો એક માર્ગ છે. વધુ વિગતવાર માહિતી - અહીં.

દરેક વસ્તુનું જાતે મૂલ્યાંકન કરવા માટે, તમારે નિયમિતકરણને અક્ષમ કરવાની અને ડેટા લોસ ગ્રેડિયન્ટ જાતે તપાસવાની જરૂર છે.

બહાર નીકળી ભીડ અટકાવવા માટે તમારા નેટવર્કને સુવ્યવસ્થિત કરવાની બીજી પદ્ધતિ છે. તાલીમ દરમિયાન, ડ્રોપઆઉટ ફક્ત ચોક્કસ સંભાવના p (હાયપરપેરામીટર) સાથે ચેતાકોષની પ્રવૃત્તિને જાળવી રાખીને અથવા વિપરીત કિસ્સામાં તેને શૂન્ય પર સેટ કરીને જ હાથ ધરવામાં આવે છે. પરિણામે, નેટવર્કે દરેક તાલીમ બેચ માટે પેરામીટર્સના અલગ સબસેટનો ઉપયોગ કરવો જોઈએ, જે પ્રબળ બનેલા ચોક્કસ પરિમાણોમાં ફેરફારોને ઘટાડે છે.

મહત્વપૂર્ણ: જો તમે ડ્રોપઆઉટ અને બેચ નોર્મલાઇઝેશન બંનેનો ઉપયોગ કરો છો, તો આ કામગીરીના ક્રમ વિશે સાવચેત રહો અથવા તો તેનો એકસાથે ઉપયોગ કરો. આ બધું હજી પણ સક્રિયપણે ચર્ચા અને પૂરક છે. આ વિષય પર અહીં બે મહત્વપૂર્ણ ચર્ચાઓ છે સ્ટેકઓવરફ્લો પર и આર્ક્સિવ.

કાર્ય નિયંત્રણ

તે વર્કફ્લો અને પ્રયોગોના દસ્તાવેજીકરણ વિશે છે. જો તમે કંઈપણ દસ્તાવેજીકૃત કરતા નથી, તો તમે ભૂલી શકો છો, ઉદાહરણ તરીકે, કયો લર્નિંગ રેટ અથવા વર્ગ વજનનો ઉપયોગ કરવામાં આવે છે. નિયંત્રણ માટે આભાર, તમે અગાઉના પ્રયોગોને સરળતાથી જોઈ અને પુનઃઉત્પાદિત કરી શકો છો. આ તમને ડુપ્લિકેટ પ્રયોગોની સંખ્યા ઘટાડવા માટે પરવાનગી આપે છે.

જો કે, મોટા પ્રમાણમાં કામના કિસ્સામાં મેન્યુઅલ દસ્તાવેજીકરણ મુશ્કેલ કાર્ય બની શકે છે. આ તે છે જ્યાં તમારા મોડલ (હાયપરપેરામીટર્સ, મોડેલ પ્રદર્શન મેટ્રિક્સ અને પર્યાવરણીય માહિતી) વિશેની મુખ્ય માહિતી સહિત ડેટાસેટ્સ, કોડ ફેરફારો, પ્રાયોગિક ઇતિહાસ અને ઉત્પાદન મોડલને આપમેળે લૉગ કરવામાં તમારી સહાય કરવા માટે Comet.ml જેવા સાધનો આવે છે.

ન્યુરલ નેટવર્ક નાના ફેરફારો માટે ખૂબ જ સંવેદનશીલ હોઈ શકે છે, અને આ મોડેલની કામગીરીમાં ઘટાડો તરફ દોરી જશે. તમારા કાર્યનું ટ્રેકિંગ અને દસ્તાવેજીકરણ એ પ્રથમ પગલું છે જે તમે તમારા પર્યાવરણ અને મોડેલિંગને પ્રમાણિત કરવા માટે લઈ શકો છો.

હું આશા રાખું છું કે તમારા ન્યુરલ નેટવર્કને ડિબગ કરવાનું શરૂ કરવા માટે આ પોસ્ટ તમારા માટે પ્રારંભિક બિંદુ બની શકે છે.

સ્કિલબોક્સ ભલામણ કરે છે:

• બે વર્ષનો પ્રેક્ટિકલ કોર્સ "હું પ્રો વેબ ડેવલપર છું".
• ઓનલાઇન કોર્સ "0 થી C# વિકાસકર્તા".
• એક વર્ષનો પ્રેક્ટિકલ કોર્સ "0 થી PRO સુધી PHP વિકાસકર્તા".

સોર્સ: www.habr.com