ന്യൂറൽ നെറ്റ്‌വർക്കുകളിൽ പ്രവർത്തിക്കുന്നു: ഡീബഗ്ഗിംഗിനുള്ള ചെക്ക്‌ലിസ്റ്റ്

മെഷീൻ ലേണിംഗ് സോഫ്റ്റ്‌വെയർ ഉൽപ്പന്നങ്ങളുടെ കോഡ് പലപ്പോഴും സങ്കീർണ്ണവും ആശയക്കുഴപ്പമുണ്ടാക്കുന്നതുമാണ്. അതിലെ ബഗുകൾ കണ്ടെത്തി ഇല്ലാതാക്കുക എന്നത് ഒരു റിസോഴ്സ്-ഇന്റൻസീവ് ജോലിയാണ്. ഏറ്റവും ലളിതമായത് പോലും ഫീഡ്ഫോർവേഡ് ന്യൂറൽ നെറ്റ്‌വർക്കുകൾ നെറ്റ്‌വർക്ക് ആർക്കിടെക്ചർ, വെയ്റ്റുകളുടെ സമാരംഭം, നെറ്റ്‌വർക്ക് ഒപ്റ്റിമൈസേഷൻ എന്നിവയിൽ ഗൗരവമായ സമീപനം ആവശ്യമാണ്. ഒരു ചെറിയ തെറ്റ് അസുഖകരമായ പ്രശ്നങ്ങൾക്ക് ഇടയാക്കും.

ഈ ലേഖനം നിങ്ങളുടെ ന്യൂറൽ നെറ്റ്‌വർക്കുകൾ ഡീബഗ്ഗ് ചെയ്യുന്നതിനുള്ള ഒരു അൽഗോരിതം ആണ്.

സ്കിൽബോക്സ് ശുപാർശ ചെയ്യുന്നു: പ്രായോഗിക കോഴ്സ് ആദ്യം മുതൽ പൈത്തൺ ഡെവലപ്പർ.

ഞങ്ങൾ ഓർമ്മിപ്പിക്കുന്നു: "Habr"-ന്റെ എല്ലാ വായനക്കാർക്കും - "Habr" പ്രൊമോഷണൽ കോഡ് ഉപയോഗിച്ച് ഏതെങ്കിലും സ്കിൽബോക്സ് കോഴ്സിൽ ചേരുമ്പോൾ 10 റൂബിൾസ് കിഴിവ്.

അൽഗോരിതം അഞ്ച് ഘട്ടങ്ങൾ ഉൾക്കൊള്ളുന്നു:

• എളുപ്പമുള്ള തുടക്കം;
• നഷ്ടങ്ങളുടെ സ്ഥിരീകരണം;
• ഇന്റർമീഡിയറ്റ് ഫലങ്ങളും കണക്ഷനുകളും പരിശോധിക്കുന്നു;
• പാരാമീറ്റർ ഡയഗ്നോസ്റ്റിക്സ്;
• ജോലിയുടെ നിയന്ത്രണം.

നിങ്ങൾക്ക് ബാക്കിയുള്ളതിനേക്കാൾ രസകരമായ എന്തെങ്കിലും തോന്നുന്നുവെങ്കിൽ, നിങ്ങൾക്ക് ഉടൻ തന്നെ ഈ വിഭാഗങ്ങളിലേക്ക് പോകാം.

എളുപ്പമുള്ള തുടക്കം

സങ്കീർണ്ണമായ ആർക്കിടെക്ചർ, റെഗുലറൈസേഷൻ, ലേണിംഗ് റേറ്റ് ഷെഡ്യൂളർ എന്നിവയുള്ള ഒരു ന്യൂറൽ നെറ്റ്‌വർക്ക് ഡീബഗ് ചെയ്യാൻ പതിവുള്ളതിനേക്കാൾ ബുദ്ധിമുട്ടാണ്. ഈ പോയിന്റ് തന്നെ ഡീബഗ്ഗിംഗുമായി പരോക്ഷമായി ബന്ധപ്പെട്ടിരിക്കുന്നതിനാൽ ഞങ്ങൾ ഇവിടെ അൽപ്പം ബുദ്ധിമുട്ടാണ്, പക്ഷേ ഇത് ഇപ്പോഴും ഒരു പ്രധാന ശുപാർശയാണ്.

ലളിതമായ ഒരു തുടക്കം, ഒരു ലളിതമായ മോഡൽ സൃഷ്ടിച്ച് ഒരു സെറ്റ് (പോയിന്റ്) ഡാറ്റയിൽ പരിശീലിപ്പിക്കുക എന്നതാണ്.

ആദ്യം ഞങ്ങൾ ഒരു ലളിതമായ മോഡൽ സൃഷ്ടിക്കുന്നു

വേഗത്തിൽ ആരംഭിക്കുന്നതിന്, ഒരൊറ്റ മറഞ്ഞിരിക്കുന്ന പാളി ഉപയോഗിച്ച് ഞങ്ങൾ ഒരു ചെറിയ നെറ്റ്‌വർക്ക് സൃഷ്ടിക്കുകയും എല്ലാം ശരിയായി പ്രവർത്തിക്കുന്നുണ്ടോയെന്ന് പരിശോധിക്കുകയും ചെയ്യുന്നു. തുടർന്ന് ഞങ്ങൾ മോഡലിനെ ക്രമേണ സങ്കീർണ്ണമാക്കുന്നു, അതിന്റെ ഘടനയുടെ ഓരോ പുതിയ വശവും (അധിക പാളി, പാരാമീറ്റർ മുതലായവ) പരിശോധിച്ച് മുന്നോട്ട് പോകുക.

ഒരൊറ്റ സെറ്റ് (പോയിന്റ്) ഡാറ്റയിൽ ഞങ്ങൾ മോഡലിനെ പരിശീലിപ്പിക്കുന്നു

നിങ്ങളുടെ പ്രോജക്റ്റിനായുള്ള വേഗത്തിലുള്ള സാനിറ്റി പരിശോധന എന്ന നിലയിൽ, സിസ്റ്റം ശരിയായി പ്രവർത്തിക്കുന്നുണ്ടോയെന്ന് സ്ഥിരീകരിക്കുന്നതിന് പരിശീലനത്തിനായി നിങ്ങൾക്ക് ഒന്നോ രണ്ടോ ഡാറ്റ പോയിന്റുകൾ ഉപയോഗിക്കാം. പരിശീലനത്തിലും പരിശോധനയിലും ന്യൂറൽ നെറ്റ്‌വർക്ക് 100% കൃത്യത കാണിക്കണം. ഇത് അങ്ങനെയല്ലെങ്കിൽ, ഒന്നുകിൽ മോഡൽ വളരെ ചെറുതാണ് അല്ലെങ്കിൽ നിങ്ങൾക്ക് ഇതിനകം ഒരു ബഗ് ഉണ്ട്.

എല്ലാം ശരിയാണെങ്കിലും, മുന്നോട്ട് പോകുന്നതിന് മുമ്പ് ഒന്നോ അതിലധികമോ യുഗങ്ങൾക്ക് മാതൃക തയ്യാറാക്കുക.

നഷ്ടം വിലയിരുത്തൽ

മോഡലിന്റെ പ്രകടനം മെച്ചപ്പെടുത്തുന്നതിനുള്ള പ്രധാന മാർഗമാണ് നഷ്ടം കണക്കാക്കൽ. നഷ്ടം പ്രശ്നത്തിന് അനുയോജ്യമാണെന്നും നഷ്ടത്തിന്റെ പ്രവർത്തനങ്ങൾ ശരിയായ സ്കെയിലിൽ റേറ്റുചെയ്തിട്ടുണ്ടെന്നും നിങ്ങൾ ഉറപ്പാക്കേണ്ടതുണ്ട്. നിങ്ങൾ ഒന്നിൽ കൂടുതൽ നഷ്‌ട തരങ്ങൾ ഉപയോഗിക്കുകയാണെങ്കിൽ, അവയെല്ലാം ഒരേ ക്രമത്തിലാണെന്നും കൃത്യമായി സ്കെയിൽ ചെയ്‌തിട്ടുണ്ടെന്നും ഉറപ്പാക്കുക.

പ്രാരംഭ നഷ്ടങ്ങളിൽ ശ്രദ്ധിക്കേണ്ടത് പ്രധാനമാണ്. ഒരു ക്രമരഹിതമായ ഊഹത്തോടെയാണ് മോഡൽ ആരംഭിച്ചതെങ്കിൽ, യഥാർത്ഥ ഫലം പ്രതീക്ഷിച്ച ഫലവുമായി എത്ര അടുത്താണെന്ന് പരിശോധിക്കുക. IN ആൻഡ്രി കർപതിയുടെ കൃതി ഇനിപ്പറയുന്നവ നിർദ്ദേശിക്കുന്നു:: “നിങ്ങൾ ചെറിയ അളവിലുള്ള പാരാമീറ്ററുകൾ ഉപയോഗിച്ച് ആരംഭിക്കുമ്പോൾ നിങ്ങൾ പ്രതീക്ഷിക്കുന്ന ഫലം ലഭിക്കുന്നുണ്ടെന്ന് ഉറപ്പാക്കുക. ഡാറ്റാ നഷ്ടം ഉടനടി പരിശോധിക്കുന്നതാണ് നല്ലത് (റെഗുലറൈസേഷന്റെ അളവ് പൂജ്യമായി സജ്ജമാക്കി). ഉദാഹരണത്തിന്, Softmax ക്ലാസിഫയർ ഉള്ള CIFAR-10-ന്, പ്രാരംഭ നഷ്ടം 2.302 ആയിരിക്കുമെന്ന് ഞങ്ങൾ പ്രതീക്ഷിക്കുന്നു, കാരണം ഓരോ ക്ലാസിനും പ്രതീക്ഷിക്കുന്ന വ്യാപന സാധ്യത 0,1 ആണ് (10 ക്ലാസുകൾ ഉള്ളതിനാൽ) Softmax നഷ്ടം ശരിയായ ക്ലാസിന്റെ നെഗറ്റീവ് ലോഗ് സാധ്യതയാണ്. − ln (0.1) = 2.302.”

ബൈനറി ഉദാഹരണത്തിനായി, ഓരോ ക്ലാസുകൾക്കും സമാനമായ കണക്കുകൂട്ടൽ ലളിതമായി നിർമ്മിച്ചിരിക്കുന്നു. ഇവിടെ, ഉദാഹരണത്തിന്, ഡാറ്റ: 20% 0-ഉം 80% 1-ഉം. പ്രതീക്ഷിക്കുന്ന പ്രാരംഭ നഷ്ടം –0,2ln (0,5) –0,8ln (0,5) = 0,693147 വരെ ആയിരിക്കും. ഫലം 1-ൽ കൂടുതലാണെങ്കിൽ, ന്യൂറൽ നെറ്റ്‌വർക്ക് ഭാരം ശരിയായി സന്തുലിതമല്ലെന്നോ ഡാറ്റ നോർമലൈസ് ചെയ്തിട്ടില്ലെന്നോ സൂചിപ്പിക്കാം.

ഇന്റർമീഡിയറ്റ് ഫലങ്ങളും കണക്ഷനുകളും പരിശോധിക്കുന്നു

ഒരു ന്യൂറൽ നെറ്റ്‌വർക്ക് ഡീബഗ് ചെയ്യുന്നതിന്, നെറ്റ്‌വർക്കിനുള്ളിലെ പ്രക്രിയകളുടെ ചലനാത്മകതയും അവ ബന്ധിപ്പിച്ചിരിക്കുന്ന വ്യക്തിഗത ഇന്റർമീഡിയറ്റ് ലെയറുകളുടെ പങ്കും മനസ്സിലാക്കേണ്ടത് ആവശ്യമാണ്. നിങ്ങൾ നേരിട്ടേക്കാവുന്ന സാധാരണ പിശകുകൾ ഇതാ:

• ഗ്രേഡിൽ അപ്ഡേറ്റുകൾക്കുള്ള തെറ്റായ എക്സ്പ്രഷനുകൾ;
• ഭാരം അപ്ഡേറ്റുകൾ ബാധകമല്ല;
• പൊട്ടിത്തെറിക്കുന്ന ഗ്രേഡിയന്റുകൾ.

ഗ്രേഡിയന്റ് മൂല്യങ്ങൾ പൂജ്യമാണെങ്കിൽ, ഒപ്റ്റിമൈസറിലെ പഠന നിരക്ക് വളരെ മന്ദഗതിയിലാണെന്നോ അല്ലെങ്കിൽ ഗ്രേഡിയന്റ് അപ്‌ഡേറ്റ് ചെയ്യുന്നതിന് നിങ്ങൾ തെറ്റായ പദപ്രയോഗം നേരിടുന്നുണ്ടെന്നോ ആണ് ഇതിനർത്ഥം.

കൂടാതെ, ഓരോ ലെയറുകളുടെയും ആക്ടിവേഷൻ ഫംഗ്‌ഷനുകൾ, ഭാരം, അപ്‌ഡേറ്റുകൾ എന്നിവയുടെ മൂല്യങ്ങൾ നിരീക്ഷിക്കേണ്ടത് ആവശ്യമാണ്. ഉദാഹരണത്തിന്, പാരാമീറ്റർ അപ്ഡേറ്റുകളുടെ അളവ് (ഭാരവും പക്ഷപാതവും) 1-e3 ആയിരിക്കണം.

"Dying ReLU" അല്ലെങ്കിൽ എന്നൊരു പ്രതിഭാസമുണ്ട് "വാനിഷിംഗ് ഗ്രേഡിയന്റ് പ്രശ്നം", ReLU ന്യൂറോണുകൾ അതിന്റെ ഭാരം ഒരു വലിയ നെഗറ്റീവ് ബയസ് മൂല്യം പഠിച്ച ശേഷം പൂജ്യം ഔട്ട്പുട്ട് ചെയ്യുമ്പോൾ. ഡാറ്റയിലെ ഒരു ഘട്ടത്തിലും ഈ ന്യൂറോണുകൾ വീണ്ടും ജ്വലിക്കുന്നില്ല.

ഒരു സംഖ്യാ സമീപനം ഉപയോഗിച്ച് ഗ്രേഡിയന്റ് ഏകദേശം കണക്കാക്കി ഈ പിശകുകൾ തിരിച്ചറിയാൻ നിങ്ങൾക്ക് ഗ്രേഡിയന്റ് പരിശോധന ഉപയോഗിക്കാം. ഇത് കണക്കാക്കിയ ഗ്രേഡിയന്റുകൾക്ക് അടുത്താണെങ്കിൽ, ബാക്ക്പ്രൊപഗേഷൻ ശരിയായി നടപ്പിലാക്കി. ഒരു ഗ്രേഡിയന്റ് പരിശോധന സൃഷ്‌ടിക്കുന്നതിന്, CS231-ൽ നിന്നുള്ള ഈ മികച്ച ഉറവിടങ്ങൾ പരിശോധിക്കുക ഇവിടെ и ഇവിടെഒപ്പം കൂടെ പാഠം ഈ വിഷയത്തിൽ ആൻഡ്രൂ എൻഗ.

ഫൈസാൻ ഷെയ്ഖ് ഒരു ന്യൂറൽ നെറ്റ്‌വർക്ക് ദൃശ്യവൽക്കരിക്കുന്നതിനുള്ള മൂന്ന് പ്രധാന രീതികൾ സൂചിപ്പിക്കുന്നു:

• പരിശീലനം ലഭിച്ച മാതൃകയുടെ പൊതുവായ ഘടന കാണിക്കുന്ന ലളിതമായ രീതികളാണ് പ്രാഥമികങ്ങൾ. ന്യൂറൽ നെറ്റ്‌വർക്കിന്റെ വ്യക്തിഗത പാളികളുടെ ആകൃതികളുടെയോ ഫിൽട്ടറുകളുടെയോ ഔട്ട്‌പുട്ടും ഓരോ ലെയറിനുള്ളിലെ പാരാമീറ്ററുകളും ഇതിൽ ഉൾപ്പെടുന്നു.
• സജീവമാക്കൽ അടിസ്ഥാനമാക്കിയുള്ളത്. അവയിൽ, അവയുടെ പ്രവർത്തനങ്ങൾ മനസിലാക്കാൻ വ്യക്തിഗത ന്യൂറോണുകളുടെ അല്ലെങ്കിൽ ന്യൂറോണുകളുടെ ഗ്രൂപ്പുകളുടെ പ്രവർത്തനങ്ങളെ ഞങ്ങൾ മനസ്സിലാക്കുന്നു.
• ഗ്രേഡിയന്റുകളെ അടിസ്ഥാനമാക്കി. ഈ രീതികൾ മോഡൽ പരിശീലനത്തിന്റെ (സാലിയൻസി മാപ്പുകളും ക്ലാസ് ആക്റ്റിവേഷൻ മാപ്പുകളും ഉൾപ്പെടെ) മുന്നോട്ടും പിന്നോട്ടും ഉള്ള പാസുകളിൽ നിന്ന് രൂപപ്പെടുന്ന ഗ്രേഡിയന്റുകളെ കൈകാര്യം ചെയ്യാൻ പ്രവണത കാണിക്കുന്നു.

വ്യക്തിഗത ലെയറുകളുടെ ആക്റ്റിവേഷനുകളും കണക്ഷനുകളും ദൃശ്യവൽക്കരിക്കുന്നതിന് നിരവധി ഉപയോഗപ്രദമായ ടൂളുകൾ ഉണ്ട്, ഉദാ. കോൺഎക്സ് и ടെൻസർബോർഡ്.

പാരാമീറ്റർ ഡയഗ്നോസ്റ്റിക്സ്

ന്യൂറൽ നെറ്റ്‌വർക്കുകൾക്ക് പരസ്പരം ഇടപഴകുന്ന ധാരാളം പാരാമീറ്ററുകൾ ഉണ്ട്, ഇത് ഒപ്റ്റിമൈസേഷൻ സങ്കീർണ്ണമാക്കുന്നു. യഥാർത്ഥത്തിൽ, ഈ വിഭാഗം സ്പെഷ്യലിസ്റ്റുകളുടെ സജീവ ഗവേഷണ വിഷയമാണ്, അതിനാൽ ചുവടെയുള്ള നിർദ്ദേശങ്ങൾ ഉപദേശമായി മാത്രമേ പരിഗണിക്കാവൂ, അതിൽ നിന്ന് ആരംഭിക്കേണ്ട പോയിന്റുകൾ.

പാക്കേജ് വലിപ്പം (ബാച്ച് വലുപ്പം) - കൃത്യമായ പിശക് ഗ്രേഡിയന്റ് എസ്റ്റിമേറ്റുകൾ ലഭിക്കുന്നതിന്, എന്നാൽ നിങ്ങളുടെ നെറ്റ്‌വർക്ക് ക്രമപ്പെടുത്തുന്നതിന് സ്‌റ്റോക്കാസ്റ്റിക് ഗ്രേഡിയന്റ് ഡിസെന്റിന് (SGD) വേണ്ടത്ര ചെറുതായിരിക്കാൻ ബാച്ച് വലുപ്പം നിങ്ങൾ ആഗ്രഹിക്കുന്നുവെങ്കിൽ. ചെറിയ ബാച്ച് വലുപ്പങ്ങൾ പരിശീലന പ്രക്രിയയ്ക്കിടയിലുള്ള ശബ്ദവും തുടർന്ന് ഒപ്റ്റിമൈസേഷൻ ബുദ്ധിമുട്ടുകളും കാരണം ദ്രുതഗതിയിലുള്ള ഒത്തുചേരലിലേക്ക് നയിക്കും. ഇത് കൂടുതൽ വിശദമായി വിവരിച്ചിരിക്കുന്നു ഇവിടെ.

പഠന നിരക്ക് - വളരെ താഴ്ന്നത് സാവധാനത്തിലുള്ള ഒത്തുചേരലിലേക്കോ ലോക്കൽ മിനിമയിൽ കുടുങ്ങിപ്പോകാനുള്ള സാധ്യതയിലേക്കോ നയിക്കും. അതേ സമയം, ഉയർന്ന പഠന നിരക്ക് ഒപ്റ്റിമൈസേഷൻ വ്യതിചലനത്തിന് കാരണമാകും, കാരണം ലോസ് ഫംഗ്‌ഷന്റെ ആഴമേറിയതും എന്നാൽ ഇടുങ്ങിയതുമായ ഭാഗത്തിലൂടെ നിങ്ങൾ ചാടാൻ സാധ്യതയുണ്ട്. ന്യൂറൽ നെറ്റ്‌വർക്കിനെ പരിശീലിപ്പിക്കുമ്പോൾ സ്പീഡ് ഷെഡ്യൂളിംഗ് ഉപയോഗിച്ച് അത് കുറയ്ക്കാൻ ശ്രമിക്കുക. CS231n-നൊപ്പം കാലികമായി ഈ പ്രശ്‌നത്തിനായി സമർപ്പിച്ചിരിക്കുന്ന ഒരു വലിയ വിഭാഗം ഉണ്ട്.

ഗ്രേഡിയന്റ് ക്ലിപ്പിംഗ്  — പരമാവധി മൂല്യത്തിലോ നാമമാത്രമായ മാനദണ്ഡത്തിലോ ബാക്ക്‌പ്രൊപഗേഷൻ സമയത്ത് പാരാമീറ്റർ ഗ്രേഡിയന്റുകൾ ട്രിം ചെയ്യുന്നു. പോയിന്റ് മൂന്നിൽ നിങ്ങൾ നേരിട്ടേക്കാവുന്ന പൊട്ടിത്തെറിക്കുന്ന ഗ്രേഡിയന്റുകൾ പരിഹരിക്കുന്നതിന് ഉപയോഗപ്രദമാണ്.

ബാച്ച് നോർമലൈസേഷൻ - ഓരോ ലെയറിന്റെയും ഇൻപുട്ട് ഡാറ്റ നോർമലൈസ് ചെയ്യാൻ ഉപയോഗിക്കുന്നു, ഇത് ആന്തരിക കോവേറിയറ്റ് ഷിഫ്റ്റിന്റെ പ്രശ്നം പരിഹരിക്കാൻ ഞങ്ങളെ അനുവദിക്കുന്നു. നിങ്ങൾ ഡ്രോപ്പ്ഔട്ടും ബാച്ച് നോർമയും ഒരുമിച്ച് ഉപയോഗിക്കുകയാണെങ്കിൽ, ഈ ലേഖനം പരിശോധിക്കുക.

സ്റ്റോക്കാസ്റ്റിക് ഗ്രേഡിയന്റ് ഡിസെന്റ് (SGD) - മൊമെന്റം, അഡാപ്റ്റീവ് ലേണിംഗ് നിരക്കുകൾ, നെസ്റ്ററോവ് രീതി എന്നിവ ഉപയോഗിക്കുന്ന എസ്ജിഡിയുടെ നിരവധി ഇനങ്ങൾ ഉണ്ട്. എന്നിരുന്നാലും, പഠന കാര്യക്ഷമതയിലും സാമാന്യവൽക്കരണത്തിലും അവയ്‌ക്കൊന്നും വ്യക്തമായ നേട്ടമില്ല (വിശദാംശങ്ങൾ ഇവിടെ).

റെഗുലറൈസേഷൻ - സാമാന്യവൽക്കരിക്കാവുന്ന ഒരു മോഡൽ നിർമ്മിക്കുന്നതിന് അത് നിർണായകമാണ്, കാരണം ഇത് മോഡൽ സങ്കീർണ്ണതയ്‌ക്കോ അങ്ങേയറ്റത്തെ പാരാമീറ്റർ മൂല്യങ്ങൾക്കോ ​​ഒരു പിഴ ചേർക്കുന്നു. പക്ഷപാതം ഗണ്യമായി വർദ്ധിപ്പിക്കാതെ തന്നെ മോഡൽ വേരിയൻസ് കുറയ്ക്കുന്നതിനുള്ള ഒരു മാർഗമാണിത്. കൂടുതൽ വിശദമായ വിവരങ്ങൾ - ഇവിടെ.

എല്ലാം സ്വയം വിലയിരുത്തുന്നതിന്, നിങ്ങൾ റെഗുലറൈസേഷൻ അപ്രാപ്തമാക്കുകയും ഡാറ്റ നഷ്ടം ഗ്രേഡിയന്റ് സ്വയം പരിശോധിക്കുകയും വേണം.

കൊഴിഞ്ഞു പോകുന്നു തിരക്ക് തടയുന്നതിന് നിങ്ങളുടെ നെറ്റ്‌വർക്ക് കാര്യക്ഷമമാക്കുന്നതിനുള്ള മറ്റൊരു രീതിയാണ്. പരിശീലന സമയത്ത്, ഒരു നിശ്ചിത പ്രോബബിലിറ്റി p (ഹൈപ്പർപാരാമീറ്റർ) ഉപയോഗിച്ച് ന്യൂറോണിന്റെ പ്രവർത്തനം നിലനിർത്തുന്നതിലൂടെയോ അല്ലെങ്കിൽ വിപരീത സാഹചര്യത്തിൽ പൂജ്യമായി സജ്ജമാക്കുന്നതിലൂടെയോ മാത്രമേ ഡ്രോപ്പ്ഔട്ട് നടത്തൂ. തൽഫലമായി, ഓരോ പരിശീലന ബാച്ചിനും നെറ്റ്‌വർക്ക് വ്യത്യസ്തമായ പാരാമീറ്ററുകൾ ഉപയോഗിക്കണം, ഇത് ആധിപത്യമുള്ള ചില പാരാമീറ്ററുകളിലെ മാറ്റങ്ങൾ കുറയ്ക്കുന്നു.

പ്രധാനപ്പെട്ടത്: നിങ്ങൾ ഡ്രോപ്പ്ഔട്ടും ബാച്ച് നോർമലൈസേഷനും ഉപയോഗിക്കുകയാണെങ്കിൽ, ഈ പ്രവർത്തനങ്ങളുടെ ക്രമം അല്ലെങ്കിൽ അവ ഒരുമിച്ച് ഉപയോഗിക്കുന്നത് പോലും ശ്രദ്ധിക്കുക. ഇതെല്ലാം ഇപ്പോഴും സജീവമായി ചർച്ച ചെയ്യപ്പെടുകയും അനുബന്ധമായി നൽകപ്പെടുകയും ചെയ്യുന്നു. ഈ വിഷയത്തിൽ രണ്ട് പ്രധാന ചർച്ചകൾ ഇവിടെയുണ്ട് സ്റ്റാക്ക്ഓവർഫ്ലോയിൽ и ആർക്സിവ്.

ജോലിയുടെ നിയന്ത്രണം

ഇത് വർക്ക്ഫ്ലോകളും പരീക്ഷണങ്ങളും രേഖപ്പെടുത്തുന്നതിനെക്കുറിച്ചാണ്. നിങ്ങൾ ഒന്നും ഡോക്യുമെന്റ് ചെയ്യുന്നില്ലെങ്കിൽ, നിങ്ങൾ മറന്നേക്കാം, ഉദാഹരണത്തിന്, എന്ത് പഠന നിരക്ക് അല്ലെങ്കിൽ ക്ലാസ് വെയ്റ്റ് ഉപയോഗിക്കുന്നു. നിയന്ത്രണത്തിന് നന്ദി, നിങ്ങൾക്ക് മുമ്പത്തെ പരീക്ഷണങ്ങൾ എളുപ്പത്തിൽ അവലോകനം ചെയ്യാനും പുനർനിർമ്മിക്കാനും കഴിയും. ഡ്യൂപ്ലിക്കേറ്റ് പരീക്ഷണങ്ങളുടെ എണ്ണം കുറയ്ക്കാൻ ഇത് നിങ്ങളെ അനുവദിക്കുന്നു.

എന്നിരുന്നാലും, ഒരു വലിയ അളവിലുള്ള ജോലിയുടെ കാര്യത്തിൽ സ്വമേധയാലുള്ള ഡോക്യുമെന്റേഷൻ ബുദ്ധിമുട്ടുള്ള കാര്യമായി മാറും. നിങ്ങളുടെ മോഡലിനെക്കുറിച്ചുള്ള പ്രധാന വിവരങ്ങൾ (ഹൈപ്പർപാരാമീറ്ററുകൾ, മോഡൽ പെർഫോമൻസ് മെട്രിക്‌സ്, പാരിസ്ഥിതിക വിവരങ്ങൾ) ഉൾപ്പെടെയുള്ള ഡാറ്റാസെറ്റുകൾ, കോഡ് മാറ്റങ്ങൾ, പരീക്ഷണാത്മക ചരിത്രം, പ്രൊഡക്ഷൻ മോഡലുകൾ എന്നിവ സ്വയമേവ ലോഗ് ചെയ്യാൻ നിങ്ങളെ സഹായിക്കുന്നതിന് Comet.ml പോലുള്ള ടൂളുകൾ വരുന്നത് ഇവിടെയാണ്.

ഒരു ന്യൂറൽ നെറ്റ്‌വർക്ക് ചെറിയ മാറ്റങ്ങളോട് വളരെ സെൻസിറ്റീവ് ആയിരിക്കും, ഇത് മോഡൽ പ്രകടനത്തിൽ കുറവുണ്ടാക്കും. നിങ്ങളുടെ പരിസ്ഥിതിയും മോഡലിംഗും സ്റ്റാൻഡേർഡ് ചെയ്യുന്നതിനുള്ള ആദ്യപടിയാണ് നിങ്ങളുടെ ജോലി ട്രാക്കുചെയ്യുന്നതും രേഖപ്പെടുത്തുന്നതും.

നിങ്ങളുടെ ന്യൂറൽ നെറ്റ്‌വർക്ക് ഡീബഗ്ഗിംഗ് ആരംഭിക്കുന്നതിന് ഈ പോസ്റ്റിന് ഒരു തുടക്കമാകുമെന്ന് ഞാൻ പ്രതീക്ഷിക്കുന്നു.

സ്കിൽബോക്സ് ശുപാർശ ചെയ്യുന്നു:

• രണ്ടുവർഷത്തെ പ്രാക്ടിക്കൽ കോഴ്സ് "ഞാൻ ഒരു PRO വെബ് ഡെവലപ്പർ ആണ്".
• ഓൺലൈൻ കോഴ്സ് "0 മുതൽ C# ഡെവലപ്പർ".
• പ്രായോഗിക വർഷ കോഴ്സ് "0 മുതൽ PRO വരെയുള്ള PHP ഡവലപ്പർ".

അവലംബം: www.habr.com