न्यूरल नेटवर्कहरूसँग काम गर्दै: डिबगिङको लागि चेकलिस्ट

मेसिन लर्निङ सफ्टवेयर उत्पादनहरूको कोड प्रायजसो जटिल र धेरै भ्रामक हुन्छ। यसमा बगहरू पत्ता लगाउने र हटाउने संसाधन-गहन कार्य हो। सबैभन्दा सरल पनि फिडफॉरवर्ड न्यूरल नेटवर्कहरू नेटवर्क आर्किटेक्चर, वजनको प्रारम्भिकरण, र नेटवर्क अप्टिमाइजेसनको लागि गम्भीर दृष्टिकोण चाहिन्छ। सानो गल्तीले अप्रिय समस्या निम्त्याउन सक्छ।

यो लेख तपाईको न्यूरल नेटवर्कहरू डिबग गर्ने एल्गोरिदमको बारेमा हो।

Skillbox सिफारिस गर्दछ: व्यावहारिक पाठ्यक्रम स्क्र्याचबाट पाइथन विकासकर्ता.

हामी सम्झाउँछौं: सबै Habr पाठकहरूका लागि - Habr प्रोमो कोड प्रयोग गरी कुनै पनि Skillbox पाठ्यक्रममा भर्ना गर्दा १०,००० रूबल छुट।

एल्गोरिथ्ममा पाँच चरणहरू हुन्छन्:

• सजिलो सुरुवात;
• हानि को पुष्टि;
• मध्यवर्ती परिणाम र जडानहरू जाँच गर्दै;
• प्यारामिटर निदान;
• काम को नियन्त्रण।

यदि तपाइँलाई बाँकी भन्दा बढी रोचक लाग्दछ भने, तपाइँ तुरुन्तै यी खण्डहरूमा जान सक्नुहुन्छ।

सजिलो सुरुवात

जटिल संरचना, नियमितीकरण, र सिकाइ दर अनुसूचक भएको न्यूरल नेटवर्कलाई नियमित भन्दा डिबग गर्न गाह्रो हुन्छ। हामी यहाँ अलिकति गाह्रो भइरहेको छ, किनकि बिन्दु आफैं अप्रत्यक्ष रूपमा डिबगिङसँग सम्बन्धित छ, तर यो अझै पनि महत्त्वपूर्ण सिफारिस हो।

एउटा सरल सुरुवात भनेको एक सरल मोडेल सिर्जना गर्नु र यसलाई डेटाको एक सेट (बिन्दु) मा तालिम दिनु हो।

पहिले हामी एक सरल मोडेल सिर्जना गर्छौं

छिट्टै सुरु गर्नको लागि, हामी एकल लुकेको तहको साथ एउटा सानो नेटवर्क सिर्जना गर्छौं र जाँच गर्छौं कि सबै कुरा ठीकसँग काम गर्दछ। त्यसपछि हामी बिस्तारै मोडेललाई जटिल बनाउँछौं, यसको संरचनाको प्रत्येक नयाँ पक्ष (अतिरिक्त तह, प्यारामिटर, आदि) जाँच गर्दै, र अगाडि बढ्छौं।

हामी डेटाको एकल सेट (बिन्दु) मा मोडेललाई तालिम दिन्छौं

तपाइँको परियोजनाको लागि द्रुत सेनिटी जाँचको रूपमा, तपाइँ प्रणाली ठीकसँग काम गरिरहेको छ कि छैन भनेर पुष्टि गर्न प्रशिक्षणको लागि एक वा दुई डेटा बिन्दुहरू प्रयोग गर्न सक्नुहुन्छ। तंत्रिका नेटवर्कले प्रशिक्षण र परीक्षणमा 100% शुद्धता देखाउनुपर्छ। यदि यो मामला होइन भने, त्यसपछि मोडेल धेरै सानो छ वा तपाइँसँग पहिले नै बग छ।

यदि सबै ठीक छ भने, अघि बढ्नु अघि एक वा धेरै युगहरूको लागि मोडेल तयार गर्नुहोस्।

घाटा मूल्याङ्कन

मोडेलको कार्यसम्पादनलाई परिष्कृत गर्ने मुख्य तरिका घाटा अनुमान हो। तपाईंले यो सुनिश्चित गर्न आवश्यक छ कि हानि समस्याको लागि उपयुक्त छ र हानि कार्यहरू सही स्केलमा मूल्याङ्कन गरिएको छ। यदि तपाइँ एक भन्दा बढी हानि प्रकार प्रयोग गर्नुहुन्छ भने, सुनिश्चित गर्नुहोस् कि ती सबै समान क्रमका छन् र सही रूपमा नापिएका छन्।

प्रारम्भिक हानिमा ध्यान दिनु महत्त्वपूर्ण छ। यदि मोडेल अनियमित अनुमानको साथ सुरु भयो भने वास्तविक परिणाम अपेक्षित परिणामको कति नजिक छ भनेर जाँच गर्नुहोस्। IN Andrey Karpathy को कामले निम्न सुझाव दिन्छ:: "तपाईँले थोरै संख्यामा प्यारामिटरहरू सुरु गर्दा तपाईंले अपेक्षा गरेको परिणाम प्राप्त गर्न निश्चित गर्नुहोस्। यो तुरुन्तै डाटा हानि जाँच गर्न राम्रो छ (नियमितीकरण को डिग्री शून्य मा सेट संग)। उदाहरणका लागि, सफ्टम्याक्स क्लासिफायरको साथ CIFAR-10 को लागि, हामी प्रारम्भिक हानि 2.302 हुने अपेक्षा गर्छौं किनभने अपेक्षित डिफ्यूज सम्भाव्यता प्रत्येक वर्गको लागि 0,1 हो (यहाँ 10 कक्षाहरू छन्) र Softmax घाटा सही वर्गको नकारात्मक लग सम्भावना हो। as − ln (0.1) = 2.302।"

बाइनरी उदाहरण को लागी, समान गणना प्रत्येक कक्षा को लागी बनाइएको छ। यहाँ, उदाहरण को लागी, डाटा छ: 20% 0's र 80% 1's। अपेक्षित प्रारम्भिक हानि -0,2ln (0,5) -0,8ln (0,5) = 0,693147 सम्म हुनेछ। यदि नतिजा १ भन्दा बढी छ भने, यसले तंत्रिका सञ्जालको तौल राम्ररी सन्तुलित नभएको वा डाटा सामान्यीकृत नभएको संकेत गर्न सक्छ।

मध्यवर्ती परिणाम र जडानहरू जाँच गर्दै

एक न्यूरल नेटवर्क डिबग गर्न, यो नेटवर्क भित्र प्रक्रियाहरु को गतिशीलता र व्यक्तिगत मध्यवर्ती तहहरु को भूमिका को रूप मा उनि जोडिएको को रूप मा बुझ्न आवश्यक छ। यहाँ तपाईंले सामना गर्न सक्ने सामान्य त्रुटिहरू छन्:

• ग्रेडल अपडेटहरूको लागि गलत अभिव्यक्तिहरू;
• वजन अद्यावधिकहरू लागू छैनन्;
• विस्फोट ढाँचा।

यदि ग्रेडियन्ट मानहरू शून्य छन् भने, यसको मतलब अप्टिमाइजरमा सिक्ने दर धेरै ढिलो छ, वा तपाईंले ग्रेडियन्ट अद्यावधिक गर्नको लागि गलत अभिव्यक्तिको सामना गरिरहनुभएको छ।

थप रूपमा, प्रत्येक तहको सक्रियता कार्यहरू, वजनहरू र अद्यावधिकहरूको मानहरू निगरानी गर्न आवश्यक छ। उदाहरणका लागि, प्यारामिटर अपडेटहरूको परिमाण (तौल र पूर्वाग्रहहरू) 1-e3 हुनुपर्छ.

त्यहाँ "Dying ReLU" वा भनिन्छ "ग्रेडियन्ट समस्या हराउँदै", जब ReLU न्यूरोन्सले यसको तौलको लागि ठूलो नकारात्मक पूर्वाग्रह मान सिकेर शून्य आउटपुट गर्नेछ। यी न्युरोनहरू डाटाको कुनै पनि बिन्दुमा फेरि कहिले पनि फायर हुँदैनन्।

तपाईं संख्यात्मक दृष्टिकोण प्रयोग गरेर ग्रेडियन्ट अनुमानित गरेर यी त्रुटिहरू पहिचान गर्न ग्रेडियन्ट जाँच प्रयोग गर्न सक्नुहुन्छ। यदि यो गणना गरिएको ढाँचाको नजिक छ भने, ब्याकप्रोपेगेशन सही रूपमा लागू गरिएको थियो। ग्रेडियन्ट जाँच सिर्जना गर्न, CS231 बाट यी उत्कृष्ट स्रोतहरू जाँच गर्नुहोस् यहाँ и यहाँर साथमा पाठ एन्ड्रयू एनगा यस विषयमा।

फैजान शेख एक तंत्रिका नेटवर्क को लागी तीन मुख्य विधिहरु लाई संकेत गर्दछ:

• प्रारम्भिक सरल विधिहरू हुन् जसले हामीलाई प्रशिक्षित मोडेलको सामान्य संरचना देखाउँछन्। यसमा आकारहरू वा न्युरल नेटवर्कको व्यक्तिगत तहहरूको फिल्टरहरू र प्रत्येक तह भित्रका प्यारामिटरहरू समावेश छन्।
• सक्रियता आधारित। तिनीहरूमा, हामी व्यक्तिगत न्यूरोन्स वा न्यूरोन्सका समूहहरूको कार्यहरू बुझ्नको लागि सक्रियताहरू बुझ्छौं।
• ग्रेडियन्टको आधारमा। यी विधिहरूले मोडेल प्रशिक्षणको अगाडि र पछाडि पासहरू (सेलिन्सी नक्सा र वर्ग सक्रियता नक्साहरू सहित) बाट बनाइएका ढाँचाहरूलाई हेरफेर गर्ने प्रवृत्ति हुन्छ।

व्यक्तिगत तहहरूको सक्रियता र जडानहरू कल्पना गर्नका लागि धेरै उपयोगी उपकरणहरू छन्, उदाहरणका लागि। ConX и टेन्सरबोर्ड.

प्यारामिटर निदान

तंत्रिका नेटवर्कहरूमा धेरै प्यारामिटरहरू छन् जुन एकअर्कासँग अन्तरक्रिया गर्दछ, जसले अनुकूलनलाई जटिल बनाउँछ। वास्तवमा, यो खण्ड विशेषज्ञहरू द्वारा सक्रिय अनुसन्धानको विषय हो, त्यसैले तलका सुझावहरूलाई सल्लाहको रूपमा मात्र विचार गर्नुपर्दछ, जहाँबाट निर्माण गर्ने सुरूवात बिन्दुहरू।

प्याकेज आकार (ब्याच साइज) - यदि तपाइँ सही त्रुटि ग्रेडियन्ट अनुमानहरू प्राप्त गर्नको लागि ब्याच साइज पर्याप्त ठूलो होस्, तर स्टोकास्टिक ग्रेडियन्ट डिसेन्ट (SGD) को लागि पर्याप्त सानो तपाइँको नेटवर्क नियमित गर्न चाहनुहुन्छ भने। साना ब्याच आकारहरूले प्रशिक्षण प्रक्रियाको क्रममा आवाजको कारण र पछि अनुकूलन कठिनाइहरूको कारणले द्रुत अभिसरणमा नेतृत्व गर्नेछ। यो थप विवरणमा वर्णन गरिएको छ यहाँ.

सिकाइ दर - धेरै कम हुँदा ढिलो अभिसरण वा स्थानीय मिनिमामा अड्किने जोखिम निम्त्याउनेछ। एकै समयमा, उच्च सिकाइ दरले अप्टिमाइजेसन विचलन निम्त्याउनेछ किनभने तपाईं हानि प्रकार्यको गहिरो तर साँघुरो भागबाट हाम फाल्ने जोखिममा हुनुहुन्छ। न्यूरल नेटवर्कलाई तालिम दिँदा यसलाई कम गर्नको लागि गति तालिका प्रयोग गर्ने प्रयास गर्नुहोस्। CS231n सँग अप टु डेट यस समस्याको लागि समर्पित ठूलो खण्ड छ.

ग्रेडियन्ट क्लिपिङ  - ब्याकप्रोपेगेशनको समयमा अधिकतम मान वा सीमान्त मानकमा प्यारामिटर ढाँचाहरू ट्रिम गर्दै। तपाईंले बिन्दु तीनमा सामना गर्न सक्ने कुनै पनि विस्फोटक ढाँचाहरूको समस्या निवारणका लागि उपयोगी।

ब्याच सामान्यीकरण - प्रत्येक तहको इनपुट डेटालाई सामान्य बनाउन प्रयोग गरिन्छ, जसले हामीलाई आन्तरिक covariate शिफ्टको समस्या समाधान गर्न अनुमति दिन्छ। यदि तपाइँ ड्रपआउट र ब्याच नोर्मा सँगै प्रयोग गर्दै हुनुहुन्छ भने, यो लेख जाँच गर्नुहोस्.

स्टोकास्टिक ग्रेडियन्ट डिसेन्ट (SGD) - त्यहाँ SGD को धेरै प्रकारहरू छन् जसले गति, अनुकूलन सिकाइ दर र नेस्टेरोभ विधि प्रयोग गर्दछ। यद्यपि, तिनीहरूमध्ये कुनै पनि सिक्ने दक्षता र सामान्यीकरण दुवैको सन्दर्भमा स्पष्ट लाभ छैन (विवरण यहाँ).

नियमितीकरण - सामान्यीकरण योग्य मोडेल निर्माण गर्नको लागि महत्त्वपूर्ण छ, किनकि यसले मोडेल जटिलता वा चरम प्यारामिटर मानहरूको लागि दण्ड थप्छ। यो यसको पूर्वाग्रहलाई उल्लेखनीय रूपमा वृद्धि नगरी मोडेल भिन्नता कम गर्ने तरिका हो। थप विस्तृत जानकारी - यहाँ.

आफैंले सबै कुराको मूल्याङ्कन गर्न, तपाईंले नियमितीकरण असक्षम पार्नु पर्छ र डेटा हानि ढाँचा आफैं जाँच गर्नुहोस्।

छाड्दै भीड रोक्नको लागि तपाईंको नेटवर्कलाई सुव्यवस्थित गर्ने अर्को तरिका हो। प्रशिक्षणको क्रममा, ड्रपआउट केवल एक निश्चित सम्भाव्यता p (हाइपरपेरामिटर) संग न्यूरोनको गतिविधि कायम राखेर वा उल्टो अवस्थामा शून्यमा सेट गरेर मात्र गरिन्छ। नतिजाको रूपमा, नेटवर्कले प्रत्येक प्रशिक्षण ब्याचको लागि प्यारामिटरहरूको फरक सबसेट प्रयोग गर्नुपर्छ, जसले प्रभावकारी हुने निश्चित प्यारामिटरहरूमा परिवर्तनहरू घटाउँछ।

महत्त्वपूर्ण: यदि तपाइँ ड्रपआउट र ब्याच सामान्यीकरण दुवै प्रयोग गर्नुहुन्छ भने, यी अपरेशनहरूको क्रम वा तिनीहरूलाई सँगै प्रयोग गर्ने बारे सावधान रहनुहोस्। यी सबै अझै सक्रिय रूपमा छलफल र पूरक छन्। यहाँ यस विषयमा दुईवटा महत्त्वपूर्ण छलफलहरू छन् Stackoverflow मा и आर्क्सिव.

कामको नियन्त्रण

यो कार्यप्रवाह र प्रयोगहरूको दस्तावेजीकरणको बारेमा हो। यदि तपाइँ केहि पनि कागजात गर्नुहुन्न भने, तपाइँ बिर्सन सक्नुहुन्छ, उदाहरणका लागि, कुन सिकाइ दर वा कक्षा वजनहरू प्रयोग गरिन्छ। नियन्त्रणको लागि धन्यवाद, तपाईं सजिलैसँग अघिल्लो प्रयोगहरू हेर्न र पुन: उत्पादन गर्न सक्नुहुन्छ। यसले तपाईंलाई नक्कल प्रयोगहरूको संख्या कम गर्न अनुमति दिन्छ।

यद्यपि, म्यानुअल कागजातहरू कामको ठूलो मात्राको मामलामा गाह्रो काम हुन सक्छ। यो जहाँ Comet.ml जस्ता उपकरणहरू तपाईलाई स्वचालित रूपमा डेटासेटहरू, कोड परिवर्तनहरू, प्रयोगात्मक इतिहास, र उत्पादन मोडेलहरू लग गर्न मद्दत गर्न आउँछन्, तपाईंको मोडेल (हाइपरप्यामिटरहरू, मोडेल प्रदर्शन मेट्रिक्स, र वातावरणीय जानकारी) बारे मुख्य जानकारी सहित।

एक न्यूरल नेटवर्क साना परिवर्तनहरु को लागी धेरै संवेदनशील हुन सक्छ, र यसले मोडेल प्रदर्शन मा गिरावट को नेतृत्व गर्नेछ। तपाईंको कामको ट्र्याकिङ र दस्तावेजीकरण भनेको तपाईंले आफ्नो वातावरण र मोडलिङलाई मानकीकरण गर्न लिन सक्ने पहिलो कदम हो।

मलाई आशा छ कि यो पोष्ट तपाइँको न्यूरल नेटवर्क डिबग सुरु गर्न को लागी एक सुरूवात बिन्दु हुन सक्छ।

Skillbox सिफारिस गर्दछ:

• दुई वर्षे व्यावहारिक पाठ्यक्रम "म एक प्रो वेब विकासकर्ता हुँ".
• अनलाइन कोर्स "0 बाट C# विकासकर्ता".
• एक वर्षको व्यावहारिक पाठ्यक्रम "0 देखि PRO मा PHP विकासकर्ता".

स्रोत: www.habr.com