കൈയക്ഷര ഡ്രോയിംഗുകളുടെ വർഗ്ഗീകരണം. Yandex-ൽ റിപ്പോർട്ട് ചെയ്യുക

കുറച്ച് മാസങ്ങൾക്ക് മുമ്പ്, Google-ൽ നിന്നുള്ള ഞങ്ങളുടെ സഹപ്രവർത്തകർ ചെലവഴിച്ചു on Kaggle സെൻസേഷണലിൽ ലഭിച്ച ചിത്രങ്ങൾക്കായി ഒരു ക്ലാസിഫയർ സൃഷ്ടിക്കുന്നതിനുള്ള ഒരു മത്സരം കളി "വേഗം, വരയ്ക്കുക!" Yandex ഡവലപ്പർ റോമൻ വ്ലാസോവ് ഉൾപ്പെട്ട ടീം മത്സരത്തിൽ നാലാം സ്ഥാനം നേടി. ജനുവരിയിലെ മെഷീൻ ലേണിംഗ് പരിശീലനത്തിൽ, റോമൻ തന്റെ ടീമിന്റെ ആശയങ്ങൾ, ക്ലാസിഫയറിന്റെ അന്തിമ നിർവ്വഹണം, എതിരാളികളുടെ രസകരമായ രീതികൾ എന്നിവ പങ്കിട്ടു.

- എല്ലാവർക്കും ഹായ്! എന്റെ പേര് റോമ വ്ലാസോവ്, ഇന്ന് ഞാൻ നിങ്ങളോട് ദ്രുതഗതിയെക്കുറിച്ച് പറയും, വരയ്ക്കുക! ഡൂഡിൽ തിരിച്ചറിയൽ ചലഞ്ച്.



ഞങ്ങളുടെ ടീമിൽ അഞ്ച് പേരുണ്ടായിരുന്നു. ലയന സമയപരിധിക്ക് തൊട്ടുമുമ്പ് ഞാൻ ചേർന്നു. നിർഭാഗ്യവാന്മാർ, ഞങ്ങൾ ചെറുതായി കുലുങ്ങി, പക്ഷേ പണത്തിന്റെ സ്ഥാനത്ത് നിന്ന് ഞങ്ങൾ കുലുങ്ങി, അവർ സ്വർണ്ണ സ്ഥാനത്ത് നിന്ന് വിറച്ചു. ഞങ്ങൾ മാന്യമായ നാലാം സ്ഥാനം നേടി.

(മത്സര സമയത്ത്, നിർദ്ദിഷ്ട ഡാറ്റാ സെറ്റിന്റെ ഒരു ഭാഗത്ത് കാണിച്ചിരിക്കുന്ന ഫലങ്ങളെ അടിസ്ഥാനമാക്കി രൂപീകരിച്ച ഒരു റേറ്റിംഗിൽ ടീമുകൾ സ്വയം നിരീക്ഷിച്ചു. അന്തിമ റേറ്റിംഗ്, ഡാറ്റാസെറ്റിന്റെ മറ്റൊരു ഭാഗത്ത് രൂപീകരിച്ചു. ഇത് അങ്ങനെ ചെയ്യുന്നു മത്സരത്തിൽ പങ്കെടുക്കുന്നവർ നിർദ്ദിഷ്ട ഡാറ്റയിലേക്ക് അവരുടെ അൽഗോരിതം ക്രമീകരിക്കുന്നില്ല, അതിനാൽ, റേറ്റിംഗുകൾക്കിടയിൽ മാറുമ്പോൾ, സ്ഥാനങ്ങൾ അല്പം കുലുങ്ങുന്നു (ഇംഗ്ലീഷിൽ നിന്ന് ഷേക്ക് അപ്പ് - മിക്സ് ചെയ്യാൻ): മറ്റ് ഡാറ്റയിൽ, ഫലം മാറിയേക്കാം വ്യത്യസ്‌തമായിരിക്കാൻ, റോമന്റെ ടീം ആദ്യ മൂന്ന് സ്ഥാനങ്ങളിൽ ഒന്നാമതായിരുന്നു. ഈ സാഹചര്യത്തിൽ, ആദ്യത്തെ മൂന്ന് സ്ഥാനങ്ങൾ പണം, മോണിറ്ററി റേറ്റിംഗ് സോൺ ആണ്, കാരണം ആദ്യത്തെ മൂന്ന് സ്ഥാനക്കാർക്ക് മാത്രമേ ക്യാഷ് പ്രൈസ് നൽകിയിട്ടുള്ളൂ. കുലുക്കത്തിന് ശേഷം ടീം ഇതിനകം തന്നെ ഉണ്ടായിരുന്നു. നാലാം സ്ഥാനം, അതേ രീതിയിൽ, മറ്റ് ടീമിന് വിജയം, സ്വർണ്ണ സ്ഥാനം നഷ്ടപ്പെട്ടു - എഡ്.)

എവ്ജെനി ബാബാഖ്നിന് ഒരു ഗ്രാൻഡ്മാസ്റ്റർ ലഭിച്ചു, ഇവാൻ സോസിന് ഒരു മാസ്റ്റർ ലഭിച്ചു, റോമൻ സോളോവീവ് ഒരു ഗ്രാൻഡ്മാസ്റ്ററായി തുടർന്നു, അലക്സ് പാരിനോവിന് ഒരു മാസ്റ്റർ ലഭിച്ചു, ഞാൻ ഒരു വിദഗ്ദ്ധനായി, ഇപ്പോൾ ഞാൻ ഇതിനകം ഒരു മാസ്റ്ററാണ് എന്നതിലും മത്സരം പ്രാധാന്യമർഹിക്കുന്നു.

എന്താണ് ഈ ക്വിക്ക്, ഡ്രോ? ഇത് Google-ൽ നിന്നുള്ള ഒരു സേവനമാണ്. AI-യെ ജനപ്രിയമാക്കുക എന്ന ലക്ഷ്യമാണ് ഗൂഗിളിനുണ്ടായിരുന്നത്, ഈ സേവനം ഉപയോഗിച്ച് ന്യൂറൽ നെറ്റ്‌വർക്കുകൾ എങ്ങനെ പ്രവർത്തിക്കുന്നുവെന്ന് കാണിക്കാൻ ആഗ്രഹിക്കുന്നു. നിങ്ങൾ അവിടെ പോയി, വരയ്ക്കാം ക്ലിക്ക് ചെയ്യുക, നിങ്ങളോട് പറയുന്നിടത്ത് ഒരു പുതിയ പേജ് പോപ്പ് അപ്പ് ചെയ്യുക: ഒരു സിഗ്സാഗ് വരയ്ക്കുക, ഇത് ചെയ്യാൻ നിങ്ങൾക്ക് 20 സെക്കൻഡ് സമയമുണ്ട്. നിങ്ങൾ 20 സെക്കൻഡിനുള്ളിൽ ഒരു സിഗ്സാഗ് വരയ്ക്കാൻ ശ്രമിക്കുന്നു, ഉദാഹരണത്തിന്. നിങ്ങൾ വിജയിക്കുകയാണെങ്കിൽ, നെറ്റ്‌വർക്ക് ഇത് ഒരു സിഗ്‌സാഗ് ആണെന്ന് പറയുന്നു, നിങ്ങൾ മുന്നോട്ട് പോകുക. അത്തരം ആറ് ചിത്രങ്ങളേ ഉള്ളൂ.

നിങ്ങൾ വരച്ചത് തിരിച്ചറിയുന്നതിൽ Google-ന്റെ നെറ്റ്‌വർക്ക് പരാജയപ്പെട്ടാൽ, ടാസ്‌ക്കിൽ ഒരു ക്രോസ് സ്ഥാപിച്ചു. ഒരു ഡ്രോയിംഗ് നെറ്റ്‌വർക്ക് തിരിച്ചറിഞ്ഞിട്ടുണ്ടോ ഇല്ലയോ എന്നത് ഭാവിയിൽ എന്താണ് അർത്ഥമാക്കുന്നതെന്ന് പിന്നീട് ഞാൻ നിങ്ങളോട് പറയും.

ഈ സേവനം ധാരാളം ഉപയോക്താക്കളെ ശേഖരിച്ചു, കൂടാതെ ഉപയോക്താക്കൾ വരച്ച എല്ലാ ചിത്രങ്ങളും ലോഗ് ചെയ്തു.

ഏകദേശം 50 ദശലക്ഷം ചിത്രങ്ങൾ ശേഖരിക്കാൻ ഞങ്ങൾക്ക് കഴിഞ്ഞു. ഇതിൽ നിന്നാണ് ഞങ്ങളുടെ മത്സരത്തിനുള്ള ട്രെയിനും ടെസ്റ്റ് തീയതിയും രൂപപ്പെട്ടത്. വഴിയിൽ, ടെസ്റ്റിലെ ഡാറ്റയുടെ അളവും ക്ലാസുകളുടെ എണ്ണവും ഒരു കാരണത്താൽ ബോൾഡായി ഹൈലൈറ്റ് ചെയ്യുന്നു. അവരെക്കുറിച്ച് കുറച്ച് കഴിഞ്ഞ് ഞാൻ നിങ്ങളോട് പറയും.

ഡാറ്റ ഫോർമാറ്റ് ഇപ്രകാരമായിരുന്നു. ഇവ കേവലം RGB ഇമേജുകൾ മാത്രമല്ല, ഏകദേശം പറഞ്ഞാൽ, ഉപയോക്താവ് ചെയ്ത എല്ലാ കാര്യങ്ങളുടെയും ഒരു ലോഗ്. വാക്കാണ് ഞങ്ങളുടെ ലക്ഷ്യം, രാജ്യകോഡ് ഡൂഡിലിന്റെ രചയിതാവ് എവിടെ നിന്നാണ്, ടൈംസ്റ്റാമ്പ് സമയമാണ്. Google-ൽ നിന്നുള്ള ചിത്രം നെറ്റ്‌വർക്ക് തിരിച്ചറിഞ്ഞോ ഇല്ലയോ എന്ന് തിരിച്ചറിഞ്ഞ ലേബൽ കാണിക്കുന്നു. ഡ്രോയിംഗ് തന്നെ ഒരു ശ്രേണിയാണ്, പോയിന്റുകൾ ഉപയോഗിച്ച് ഉപയോക്താവ് വരയ്ക്കുന്ന ഒരു വക്രത്തിന്റെ ഏകദേശ കണക്കാണ്. ഒപ്പം സമയവും. ചിത്രം വരയ്ക്കാൻ തുടങ്ങിയ സമയമാണിത്.

ഡാറ്റ രണ്ട് ഫോർമാറ്റിൽ അവതരിപ്പിച്ചു. ഇതാണ് ആദ്യ ഫോർമാറ്റ്, രണ്ടാമത്തേത് ലളിതമാക്കിയിരിക്കുന്നു. അവർ അവിടെ നിന്ന് സമയക്രമം വെട്ടിക്കുറയ്ക്കുകയും ചെറിയ ഒരു കൂട്ടം പോയിന്റുകൾ ഉപയോഗിച്ച് ഈ പോയിന്റുകളുടെ സെറ്റ് ഏകദേശം കണക്കാക്കുകയും ചെയ്തു. ഇതിനായി അവർ ഉപയോഗിച്ചു ഡഗ്ലസ്-പെക്കർ അൽഗോരിതം. നിങ്ങൾക്ക് ഒരു നേർരേഖയെ ഏകദേശം കണക്കാക്കുന്ന ഒരു വലിയ കൂട്ടം പോയിന്റുകൾ ഉണ്ട്, എന്നാൽ വാസ്തവത്തിൽ നിങ്ങൾക്ക് ഈ രേഖയെ രണ്ട് പോയിന്റുകൾ ഉപയോഗിച്ച് ഏകദേശമാക്കാം. ഇതാണ് അൽഗോരിതം ആശയം.

ഡാറ്റ ഇനിപ്പറയുന്ന രീതിയിൽ വിതരണം ചെയ്തു. എല്ലാം ഏകീകൃതമാണ്, പക്ഷേ ചില അതിരുകളുണ്ട്. ഞങ്ങൾ പ്രശ്നം പരിഹരിച്ചപ്പോൾ, ഞങ്ങൾ അത് നോക്കിയില്ല. പ്രധാന കാര്യം, ശരിക്കും കുറച്ച് ക്ലാസുകളൊന്നും ഉണ്ടായിരുന്നില്ല എന്നതാണ്, ഞങ്ങൾക്ക് വെയ്റ്റഡ് സാമ്പിളുകളും ഡാറ്റ ഓവർസാംപ്ലിംഗും ചെയ്യേണ്ടതില്ല.

ചിത്രങ്ങൾ എങ്ങനെയുണ്ടായിരുന്നു? ഇതാണ് "വിമാനം" ക്ലാസും അതിൽ നിന്നുള്ള ഉദാഹരണങ്ങളും തിരിച്ചറിഞ്ഞതും തിരിച്ചറിയാത്തതുമായ ലേബലുകൾ. അവരുടെ അനുപാതം 1 മുതൽ 9 വരെ എവിടെയോ ആയിരുന്നു. നിങ്ങൾക്ക് കാണാനാകുന്നതുപോലെ, ഡാറ്റ വളരെ ഗൗരവമുള്ളതാണ്. അതൊരു വിമാനമാണെന്ന് ഞാൻ ഊഹിക്കുന്നു. നിങ്ങൾ തിരിച്ചറിയാത്തത് നോക്കിയാൽ, മിക്ക കേസുകളിലും അത് വെറും ശബ്ദമാണ്. ആരോ "വിമാനം" എഴുതാൻ പോലും ശ്രമിച്ചു, പക്ഷേ പ്രത്യക്ഷത്തിൽ ഫ്രഞ്ചിൽ.

മിക്ക പങ്കാളികളും ഗ്രിഡുകൾ എടുത്ത്, ഈ വരികളുടെ ശ്രേണിയിൽ നിന്ന് RGB ചിത്രങ്ങളായി ഡാറ്റ വരച്ച് നെറ്റ്‌വർക്കിലേക്ക് എറിഞ്ഞു. ഞാൻ ഏകദേശം അതേ രീതിയിൽ വരച്ചു: ഞാൻ നിറങ്ങളുടെ ഒരു പാലറ്റ് എടുത്തു, ഒരു നിറത്തിൽ ആദ്യ വരി വരച്ചു, അത് ഈ പാലറ്റിന്റെ തുടക്കത്തിൽ ആയിരുന്നു, അവസാന വരി മറ്റൊന്ന്, പാലറ്റിന്റെ അവസാനത്തിലും അവയ്ക്കിടയിലും ഈ പാലറ്റ് ഉപയോഗിച്ച് ഞാൻ എല്ലായിടത്തും ഇന്റർപോളേറ്റ് ചെയ്തു. വഴിയിൽ, നിങ്ങൾ ആദ്യ സ്ലൈഡിൽ വരയ്ക്കുന്നതിനേക്കാൾ മികച്ച ഫലം നൽകി - വെറും കറുപ്പിൽ.

ഇവാൻ സോസിൻ പോലുള്ള മറ്റ് ടീം അംഗങ്ങൾ ചിത്രരചനയിൽ അല്പം വ്യത്യസ്തമായ സമീപനങ്ങൾ പരീക്ഷിച്ചു. ഒരു ചാനൽ ഉപയോഗിച്ച് അദ്ദേഹം ചാരനിറത്തിലുള്ള ഒരു ചിത്രം വരച്ചു, മറ്റൊരു ചാനലിൽ അദ്ദേഹം തുടക്കം മുതൽ അവസാനം വരെ 32 മുതൽ 255 വരെ ഗ്രേഡിയന്റ് ഉപയോഗിച്ച് ഓരോ സ്ട്രോക്കും വരച്ചു, മൂന്നാമത്തെ ചാനലിൽ 32 മുതൽ 255 വരെയുള്ള എല്ലാ സ്‌ട്രോക്കുകളിലും ഗ്രേഡിയന്റ് വരച്ചു.

മറ്റൊരു രസകരമായ കാര്യം, കൺട്രികോഡ് ഉപയോഗിച്ചാണ് അലക്സ് പാരിനോവ് നെറ്റ്‌വർക്കിലേക്ക് വിവരങ്ങൾ അപ്‌ലോഡ് ചെയ്തത്.

മത്സരത്തിൽ ഉപയോഗിക്കുന്ന മെട്രിക് ശരാശരി ശരാശരി കൃത്യതയാണ്. മത്സരത്തിനുള്ള ഈ മെട്രിക്കിന്റെ സാരാംശം എന്താണ്? നിങ്ങൾക്ക് മൂന്ന് പ്രവചനങ്ങൾ നൽകാം, ഈ മൂന്നിലും ശരിയായ പ്രവചനം ഇല്ലെങ്കിൽ, നിങ്ങൾക്ക് 0 ലഭിക്കും. ശരിയായ ഒന്ന് ഉണ്ടെങ്കിൽ, അതിന്റെ ക്രമം കണക്കിലെടുക്കുന്നു. നിങ്ങളുടെ പ്രവചനത്തിന്റെ ക്രമം കൊണ്ട് ഹരിച്ചാൽ ലക്ഷ്യ ഫലം 1 ആയി കണക്കാക്കും. ഉദാഹരണത്തിന്, നിങ്ങൾ മൂന്ന് പ്രവചനങ്ങൾ ഉണ്ടാക്കി, ശരിയായത് ആദ്യത്തേതാണ്, അപ്പോൾ നിങ്ങൾ 1 കൊണ്ട് ഹരിച്ചാൽ 1 ലഭിക്കും. പ്രവചനം ശരിയാണെങ്കിൽ അതിന്റെ ക്രമം 1 ആണെങ്കിൽ, 2 നെ 1 കൊണ്ട് ഹരിച്ചാൽ നിങ്ങൾക്ക് 2 ലഭിക്കും. നന്നായി, മുതലായവ.

ഡാറ്റ പ്രീപ്രോസസിംഗ് ഉപയോഗിച്ച് - എങ്ങനെ ചിത്രങ്ങൾ വരയ്ക്കാം തുടങ്ങിയവ - ഞങ്ങൾ കുറച്ച് തീരുമാനിച്ചു. ഞങ്ങൾ ഏത് വാസ്തുവിദ്യയാണ് ഉപയോഗിച്ചത്? ഞങ്ങൾ PNASNet, SENet പോലുള്ള ഫാറ്റ് ആർക്കിടെക്ചറുകളും SE-Res-NeXt പോലുള്ള ഇതിനകം തന്നെ ക്ലാസിക് ആർക്കിടെക്ചറുകളും ഉപയോഗിക്കാൻ ശ്രമിച്ചു, അവ കൂടുതൽ പുതിയ മത്സരങ്ങളിൽ പ്രവേശിക്കുന്നു. ResNet, DenseNet എന്നിവയും ഉണ്ടായിരുന്നു.

ഞങ്ങൾ ഇത് എങ്ങനെ പഠിപ്പിച്ചു? ഞങ്ങൾ എടുത്ത എല്ലാ മോഡലുകളും ഇമേജ്നെറ്റിൽ മുൻകൂട്ടി പരിശീലിപ്പിച്ചവയാണ്. ധാരാളം ഡാറ്റ ഉണ്ടെങ്കിലും, 50 ദശലക്ഷം ചിത്രങ്ങൾ, പക്ഷേ ഇപ്പോഴും, ഇമേജ്നെറ്റിൽ മുൻകൂട്ടി പരിശീലിപ്പിച്ച ഒരു നെറ്റ്‌വർക്ക് എടുക്കുകയാണെങ്കിൽ, നിങ്ങൾ അത് ആദ്യം മുതൽ പരിശീലിപ്പിച്ചതിനേക്കാൾ മികച്ച ഫലങ്ങൾ കാണിച്ചു.

ഏത് അധ്യാപന വിദ്യകളാണ് ഞങ്ങൾ ഉപയോഗിച്ചത്? ഊഷ്മള പുനരാരംഭിക്കുന്ന കോസിംഗ് അനെലിംഗ് ആണ് ഇത്, ഞാൻ കുറച്ച് കഴിഞ്ഞ് സംസാരിക്കും. എന്റെ സമീപകാല എല്ലാ മത്സരങ്ങളിലും ഞാൻ ഉപയോഗിക്കുന്ന ഒരു സാങ്കേതികതയാണിത്, അവ ഉപയോഗിച്ച് ഗ്രിഡുകളെ നന്നായി പരിശീലിപ്പിക്കുകയും മികച്ച മിനിമം നേടുകയും ചെയ്യുന്നു.

അടുത്തത് പീഠഭൂമിയിലെ പഠന നിരക്ക് കുറയ്ക്കുക. നിങ്ങൾ നെറ്റ്‌വർക്കിനെ പരിശീലിപ്പിക്കാൻ തുടങ്ങുന്നു, ഒരു നിശ്ചിത പഠന നിരക്ക് നിശ്ചയിക്കുക, അത് പഠിപ്പിക്കുന്നത് തുടരുക, നിങ്ങളുടെ നഷ്ടം ക്രമേണ ഒരു നിശ്ചിത മൂല്യത്തിലേക്ക് മാറുന്നു. നിങ്ങൾ ഇത് പരിശോധിക്കുക, ഉദാഹരണത്തിന്, പത്ത് യുഗങ്ങളായി നഷ്ടം മാറിയിട്ടില്ല. നിങ്ങളുടെ പഠന നിരക്ക് കുറച്ച് മൂല്യം കുറയ്ക്കുകയും പഠനം തുടരുകയും ചെയ്യുന്നു. ഇത് വീണ്ടും അൽപ്പം കുറയുന്നു, കുറഞ്ഞ അളവിൽ കൂടിച്ചേരുന്നു, നിങ്ങൾ വീണ്ടും പഠന നിരക്ക് കുറയ്ക്കുന്നു, അങ്ങനെ നിങ്ങളുടെ നെറ്റ്‌വർക്ക് ഒടുവിൽ ഒത്തുചേരുന്നത് വരെ.

അടുത്തത് രസകരമായ ഒരു സാങ്കേതികതയാണ്: പഠന നിരക്ക് നശിപ്പിക്കരുത്, ബാച്ച് വലുപ്പം വർദ്ധിപ്പിക്കുക. ഇതേ പേരിൽ ഒരു ലേഖനമുണ്ട്. നിങ്ങൾ ഒരു നെറ്റ്‌വർക്ക് പരിശീലിപ്പിക്കുമ്പോൾ, പഠന നിരക്ക് കുറയ്ക്കേണ്ടതില്ല, നിങ്ങൾക്ക് ബാച്ച് വലുപ്പം വർദ്ധിപ്പിക്കാം.

ഈ സാങ്കേതികവിദ്യ അലക്സ് പാരിനോവ് ഉപയോഗിച്ചു. 408 ന് തുല്യമായ ഒരു ബാച്ചിൽ അദ്ദേഹം ആരംഭിച്ചു, അവന്റെ നെറ്റ്‌വർക്ക് ചില പീഠഭൂമിയിൽ എത്തിയപ്പോൾ, അവൻ ബാച്ച് വലുപ്പം ഇരട്ടിയാക്കി.

വാസ്തവത്തിൽ, അദ്ദേഹത്തിന്റെ ബാച്ച് വലുപ്പം എത്ര മൂല്യത്തിൽ എത്തിയെന്ന് എനിക്ക് ഓർമയില്ല, എന്നാൽ രസകരമായ കാര്യം, അതേ സാങ്കേതികത ഉപയോഗിച്ച ടീമുകൾ Kaggle-ൽ ഉണ്ടായിരുന്നു, അവരുടെ ബാച്ച് വലുപ്പം ഏകദേശം 10000 ആയിരുന്നു. വഴിയിൽ, ആഴത്തിലുള്ള പഠനത്തിനുള്ള ആധുനിക ചട്ടക്കൂടുകൾ, ഉദാഹരണത്തിന്, ഉദാഹരണത്തിന്, PyTorch, ഇത് വളരെ എളുപ്പത്തിൽ ചെയ്യാൻ നിങ്ങളെ അനുവദിക്കുന്നു. നിങ്ങൾ നിങ്ങളുടെ ബാച്ച് സൃഷ്‌ടിക്കുകയും അത് നെറ്റ്‌വർക്കിലേക്ക് സമ്പൂർണ്ണമായി സമർപ്പിക്കുകയും ചെയ്യുക, പക്ഷേ അത് നിങ്ങളുടെ വീഡിയോ കാർഡിലേക്ക് യോജിക്കുന്ന തരത്തിൽ ഭാഗങ്ങളായി വിഭജിക്കുക, ഗ്രേഡിയന്റുകൾ കണക്കാക്കുക, കൂടാതെ മുഴുവൻ ബാച്ചിന്റെയും ഗ്രേഡിയന്റ് കണക്കാക്കിയ ശേഷം, അപ്‌ഡേറ്റ് ചെയ്യുക തൂക്കങ്ങൾ.

വഴിയിൽ, ഈ മത്സരത്തിൽ ഇപ്പോഴും വലിയ ബാച്ച് വലുപ്പങ്ങൾ ഉൾപ്പെടുത്തിയിട്ടുണ്ട്, കാരണം ഡാറ്റ തികച്ചും ശബ്ദമയമായിരുന്നു, കൂടാതെ ഗ്രേഡിയന്റ് കൂടുതൽ കൃത്യമായി കണക്കാക്കാൻ ഒരു വലിയ ബാച്ച് വലുപ്പം നിങ്ങളെ സഹായിച്ചു.

കപട ലേബലിംഗും ഉപയോഗിച്ചു, കൂടുതലും റോമൻ സോളോവീവ് ഉപയോഗിച്ചു. ടെസ്റ്റിൽ നിന്നുള്ള പകുതിയോളം ഡാറ്റ ബാച്ചുകളായി അദ്ദേഹം സാമ്പിൾ ചെയ്യുകയും അത്തരം ബാച്ചുകളിൽ ഗ്രിഡിനെ പരിശീലിപ്പിക്കുകയും ചെയ്തു.

ചിത്രങ്ങളുടെ വലുപ്പം പ്രധാനമാണ്, എന്നാൽ നിങ്ങൾക്ക് ധാരാളം ഡാറ്റയുണ്ട് എന്നതാണ് വസ്തുത, നിങ്ങൾ വളരെക്കാലം പരിശീലിപ്പിക്കേണ്ടതുണ്ട്, നിങ്ങളുടെ ചിത്ര വലുപ്പം വളരെ വലുതാണെങ്കിൽ, നിങ്ങൾ വളരെക്കാലം പരിശീലിപ്പിക്കും. എന്നാൽ ഇത് നിങ്ങളുടെ അന്തിമ ക്ലാസിഫയറിന്റെ ഗുണനിലവാരത്തിൽ കാര്യമായൊന്നും ചേർത്തില്ല, അതിനാൽ ഏതെങ്കിലും തരത്തിലുള്ള ട്രേഡ്-ഓഫ് ഉപയോഗിക്കുന്നത് മൂല്യവത്താണ്. മാത്രമല്ല വലിപ്പം തീരെ വലുതല്ലാത്ത ചിത്രങ്ങൾ മാത്രമാണ് ഞങ്ങൾ പരീക്ഷിച്ചത്.

അതെല്ലാം എങ്ങനെ പഠിച്ചു? ആദ്യം, ചെറിയ വലിപ്പത്തിലുള്ള ചിത്രങ്ങൾ എടുത്തു, അവയിൽ നിരവധി യുഗങ്ങൾ പ്രവർത്തിപ്പിച്ചു, ഇതിന് വളരെയധികം സമയമെടുത്തു. തുടർന്ന് വലിയ വലിപ്പത്തിലുള്ള ചിത്രങ്ങൾ നൽകി, നെറ്റ്‌വർക്ക് പരിശീലിപ്പിച്ചു, പിന്നെ അതിലും കൂടുതൽ, കൂടുതൽ, അത് ആദ്യം മുതൽ പരിശീലിപ്പിക്കാതിരിക്കാനും ധാരാളം സമയം പാഴാക്കാതിരിക്കാനും.

ഒപ്റ്റിമൈസറുകളെക്കുറിച്ച്. ഞങ്ങൾ SGD, ആദം എന്നിവ ഉപയോഗിച്ചു. ഈ രീതിയിൽ, പൊതു ലീഡർബോർഡിൽ 0,941-0,946 വേഗത നൽകിയ ഒരൊറ്റ മോഡൽ ലഭിക്കാൻ സാധിച്ചു, അത് വളരെ നല്ലതാണ്.

നിങ്ങൾ ഏതെങ്കിലും വിധത്തിൽ മോഡലുകൾ സമന്വയിപ്പിച്ചാൽ, നിങ്ങൾക്ക് ഏകദേശം 0,951 എവിടെയെങ്കിലും ലഭിക്കും. നിങ്ങൾ ഒരു സാങ്കേതികത കൂടി ഉപയോഗിക്കുകയാണെങ്കിൽ, ഞങ്ങൾക്ക് ലഭിച്ചതുപോലെ നിങ്ങൾക്ക് പൊതു ബോർഡിൽ 0,954 എന്ന അന്തിമ സ്കോർ ലഭിക്കും. എന്നാൽ പിന്നീട് അതിനെക്കുറിച്ച് കൂടുതൽ. അടുത്തതായി, ഞങ്ങൾ എങ്ങനെ മോഡലുകൾ കൂട്ടിയോജിപ്പിച്ചുവെന്നും അത്തരമൊരു അന്തിമ വേഗത കൈവരിക്കാൻ ഞങ്ങൾക്ക് എങ്ങനെ കഴിഞ്ഞുവെന്നും ഞാൻ നിങ്ങളോട് പറയും.

അടുത്തതായി, വാം റീസ്റ്റാർട്ടുകൾക്കൊപ്പം കോസിംഗ് അനീലിംഗിനെക്കുറിച്ചോ വാം റീസ്റ്റാർട്ടുകളുള്ള സ്‌റ്റോക്കാസ്റ്റിക് ഗ്രേഡിയന്റ് ഡിസെന്റിനെക്കുറിച്ചോ സംസാരിക്കാൻ ഞാൻ ആഗ്രഹിക്കുന്നു. ഏകദേശം പറഞ്ഞാൽ, തത്വത്തിൽ, നിങ്ങൾക്ക് ഏത് ഒപ്റ്റിമൈസർ ഉപയോഗിക്കാം, പക്ഷേ കാര്യം ഇതാണ്: നിങ്ങൾ ഒരു നെറ്റ്‌വർക്ക് പരിശീലിപ്പിക്കുകയും ക്രമേണ അത് കുറച്ച് കുറഞ്ഞതിലേക്ക് ഒത്തുചേരുകയും ചെയ്താൽ, എല്ലാം ശരിയാണ്, നിങ്ങൾക്ക് ഒരു നെറ്റ്‌വർക്ക് ലഭിക്കും, അത് ചില തെറ്റുകൾ വരുത്തുന്നു, പക്ഷേ നിങ്ങൾ ഇത് കുറച്ച് വ്യത്യസ്തമായി പരിശീലിപ്പിക്കാം. നിങ്ങൾ ചില പ്രാരംഭ പഠന നിരക്ക് സജ്ജമാക്കും, ഈ ഫോർമുല അനുസരിച്ച് ക്രമേണ അത് കുറയ്ക്കും. നിങ്ങൾ അത് താഴ്ത്തുക, നിങ്ങളുടെ നെറ്റ്‌വർക്ക് കുറച്ച് കുറഞ്ഞതിലേക്ക് വരുന്നു, തുടർന്ന് നിങ്ങൾ ഭാരം ലാഭിക്കുക, പരിശീലനത്തിന്റെ തുടക്കത്തിൽ ഉണ്ടായിരുന്ന പഠന നിരക്ക് വീണ്ടും സജ്ജമാക്കുക, അതുവഴി ഈ കുറഞ്ഞതിൽ നിന്ന് മുകളിലേക്ക് പോകുകയും നിങ്ങളുടെ പഠന നിരക്ക് വീണ്ടും കുറയ്ക്കുകയും ചെയ്യുന്നു.

അതിനാൽ, നിങ്ങൾക്ക് ഒരേസമയം നിരവധി മിനിമം സന്ദർശിക്കാൻ കഴിയും, അതിൽ നിങ്ങളുടെ നഷ്ടം പ്ലസ് അല്ലെങ്കിൽ മൈനസ് ആയിരിക്കും. എന്നാൽ ഈ ഭാരം ഉള്ള നെറ്റ്‌വർക്കുകൾ നിങ്ങളുടെ തീയതിയിൽ വ്യത്യസ്ത പിശകുകൾ നൽകും എന്നതാണ് വസ്തുത. അവയുടെ ശരാശരി കണക്കാക്കുന്നതിലൂടെ, നിങ്ങൾക്ക് ഒരുതരം ഏകദേശം ലഭിക്കും, നിങ്ങളുടെ വേഗത കൂടുതലായിരിക്കും.

ഞങ്ങളുടെ മോഡലുകൾ ഞങ്ങൾ എങ്ങനെ സമാഹരിച്ചു എന്നതിനെക്കുറിച്ച്. അവതരണത്തിന്റെ തുടക്കത്തിൽ, ടെസ്റ്റിലെ ഡാറ്റയുടെ അളവും ക്ലാസുകളുടെ എണ്ണവും ശ്രദ്ധിക്കാൻ ഞാൻ പറഞ്ഞു. നിങ്ങൾ ടെസ്റ്റ് സെറ്റിലെ ടാർഗെറ്റുകളുടെ എണ്ണത്തിലേക്ക് 1 ചേർക്കുകയും ക്ലാസുകളുടെ എണ്ണം കൊണ്ട് ഹരിക്കുകയും ചെയ്താൽ, നിങ്ങൾക്ക് 330 നമ്പർ ലഭിക്കും, ഇത് ഫോറത്തിൽ എഴുതിയിട്ടുണ്ട് - ടെസ്റ്റിലെ ക്ലാസുകൾ സന്തുലിതമാണെന്ന്. ഇത് ഉപയോഗിക്കാമായിരുന്നു.

ഇതിനെ അടിസ്ഥാനമാക്കി, റോമൻ സോളോവീവ് ഒരു മെട്രിക് കൊണ്ടുവന്നു, ഞങ്ങൾ അതിനെ പ്രോക്സി സ്കോർ എന്ന് വിളിച്ചു, അത് ലീഡർബോർഡുമായി നന്നായി ബന്ധപ്പെട്ടിരിക്കുന്നു. പോയിന്റ് ഇതാണ്: നിങ്ങൾ ഒരു പ്രവചനം നടത്തുക, നിങ്ങളുടെ പ്രവചകരിൽ ആദ്യത്തേത് എടുത്ത് ഓരോ ക്ലാസിലെയും ഒബ്‌ജക്റ്റുകളുടെ എണ്ണം കണക്കാക്കുക. അടുത്തതായി, ഓരോ മൂല്യത്തിൽ നിന്നും 1 കുറയ്ക്കുകയും ഫലമായുണ്ടാകുന്ന കേവല മൂല്യങ്ങൾ ചേർക്കുകയും ചെയ്യുക.

ഇനിപ്പറയുന്ന മൂല്യങ്ങൾ ലഭിച്ചു. ഇത് ഒരു അന്വേഷണ ലീഡർബോർഡ് സൃഷ്ടിക്കാനല്ല, മറിച്ച് പ്രാദേശികമായി സാധൂകരിക്കാനും ഞങ്ങളുടെ എൻസെംബിളുകൾക്കായി ഗുണകങ്ങൾ തിരഞ്ഞെടുക്കാനും ഞങ്ങളെ സഹായിച്ചു.

ഒരു സമന്വയത്തിലൂടെ നിങ്ങൾക്ക് അത്തരമൊരു വേഗത ലഭിക്കും. എനിക്ക് മറ്റെന്താണ് ചെയ്യാൻ കഴിയുക? നിങ്ങളുടെ ടെസ്റ്റിലെ ക്ലാസുകൾ സന്തുലിതമാണെന്ന വിവരം നിങ്ങൾ ഉപയോഗിച്ചുവെന്ന് കരുതുക.

ബാലൻസിങ് വ്യത്യസ്തമായിരുന്നു. അവയിലൊന്നിന്റെ ഉദാഹരണം - ഒന്നാം സ്ഥാനം നേടിയ ആൺകുട്ടികളിൽ നിന്ന് ബാലൻസിങ്.

ഞങ്ങൾ എന്താണ് ചെയ്തത്? ഞങ്ങളുടെ സന്തുലിതാവസ്ഥ വളരെ ലളിതമായിരുന്നു, അത് എവ്ജെനി ബാബാഖ്നിൻ നിർദ്ദേശിച്ചു. ഞങ്ങൾ ആദ്യം ഞങ്ങളുടെ പ്രവചനങ്ങൾ ടോപ്പ് 1 ആയി ക്രമീകരിച്ചു, അവരിൽ നിന്ന് തിരഞ്ഞെടുത്ത ഉദ്യോഗാർത്ഥികളെ - അങ്ങനെ ക്ലാസുകളുടെ എണ്ണം 330 കവിയാൻ പാടില്ല. എന്നാൽ ചില ക്ലാസുകളിൽ നിങ്ങൾക്ക് 330-ൽ താഴെ പ്രവചകർ മാത്രമാണുള്ളത്. ശരി, നമുക്ക് ടോപ്പ് 2, ടോപ്പ് 3 എന്നിവ പ്രകാരം അടുക്കാം. , ഞങ്ങൾ സ്ഥാനാർത്ഥികളെയും തിരഞ്ഞെടുക്കും.

ഒന്നാം സ്ഥാനത്തെ സന്തുലിതാവസ്ഥയിൽ നിന്ന് നമ്മുടെ ബാലൻസിംഗ് എങ്ങനെ വ്യത്യാസപ്പെട്ടിരിക്കുന്നു? അവർ ഒരു ആവർത്തന സമീപനം ഉപയോഗിച്ചു, ഏറ്റവും ജനപ്രിയമായ ക്ലാസ് എടുക്കുകയും ആ ക്ലാസിന്റെ സാധ്യതകൾ കുറച്ച് ചെറിയ സംഖ്യകളാൽ കുറയ്ക്കുകയും ചെയ്തു. ഞങ്ങൾ അടുത്ത ഏറ്റവും ജനപ്രിയമായ ക്ലാസ് എടുത്തു. അതിനാൽ എല്ലാ ക്ലാസുകളുടെയും എണ്ണം തുല്യമാകുന്നതുവരെ അവർ അവരെ താഴ്ത്തിക്കൊണ്ടിരുന്നു.

ട്രെയിൻ നെറ്റ്‌വർക്കുകളിൽ എല്ലാവരും പ്ലസ് അല്ലെങ്കിൽ മൈനസ് വൺ സമീപനം ഉപയോഗിച്ചു, എന്നാൽ എല്ലാവരും ബാലൻസിങ് ഉപയോഗിച്ചില്ല. ബാലൻസിംഗ് ഉപയോഗിച്ച്, നിങ്ങൾക്ക് സ്വർണ്ണത്തിലേക്കും ഭാഗ്യമുണ്ടെങ്കിൽ പണത്തിലേക്കും പോകാം.

ഒരു തീയതി എങ്ങനെ മുൻകൂട്ടി പ്രോസസ്സ് ചെയ്യാം? എല്ലാവരും തീയതി, പ്ലസ് അല്ലെങ്കിൽ മൈനസ്, അതേ രീതിയിൽ മുൻകൂട്ടി പ്രോസസ്സ് ചെയ്തു - കരകൗശല സവിശേഷതകൾ ഉണ്ടാക്കുക, വ്യത്യസ്ത സ്ട്രോക്ക് നിറങ്ങൾ ഉപയോഗിച്ച് ടൈമിംഗുകൾ എൻകോഡ് ചെയ്യാൻ ശ്രമിക്കുക തുടങ്ങിയവ. എട്ടാം സ്ഥാനം നേടിയ അലക്സി നോസ്ഡ്രിൻ-പ്ലോട്ട്നിറ്റ്സ്കി ഇതിനെക്കുറിച്ച് സംസാരിച്ചു.

അവൻ അത് വ്യത്യസ്തമായി ചെയ്തു. നിങ്ങളുടെ ഈ കരകൗശല സവിശേഷതകളെല്ലാം പ്രവർത്തിക്കുന്നില്ല, നിങ്ങൾ അത് ചെയ്യേണ്ടതില്ല, നിങ്ങളുടെ നെറ്റ്‌വർക്ക് ഇതെല്ലാം സ്വന്തമായി പഠിക്കണമെന്ന് അദ്ദേഹം പറഞ്ഞു. പകരം, നിങ്ങളുടെ ഡാറ്റ മുൻകൂട്ടി പ്രോസസ്സ് ചെയ്യുന്ന പഠന മൊഡ്യൂളുകൾ അദ്ദേഹം കൊണ്ടുവന്നു. പോയിന്റ് കോർഡിനേറ്റുകളും സമയവും - പ്രീപ്രോസസ് ചെയ്യാതെ തന്നെ അദ്ദേഹം യഥാർത്ഥ ഡാറ്റ അവയിലേക്ക് എറിഞ്ഞു.

തുടർന്ന് അദ്ദേഹം കോർഡിനേറ്റുകളെ അടിസ്ഥാനമാക്കി വ്യത്യാസം എടുക്കുകയും സമയത്തെ അടിസ്ഥാനമാക്കി എല്ലാം ശരാശരിയാക്കുകയും ചെയ്തു. അവൻ ഒരു നീണ്ട മാട്രിക്സ് കൊണ്ട് വന്നു. 1xn വലുപ്പമുള്ള ഒരു മാട്രിക്സ് ലഭിക്കാൻ അദ്ദേഹം അതിൽ പലതവണ 64D കൺവ്യൂഷൻ പ്രയോഗിച്ചു, ഇവിടെ n എന്നത് മൊത്തം പോയിന്റുകളുടെ എണ്ണം, കൂടാതെ 64 എന്നത് ചാനലുകളുടെ എണ്ണം അംഗീകരിക്കുന്ന ഏതെങ്കിലും കൺവ്യൂഷണൽ നെറ്റ്‌വർക്കിന്റെ ലെയറിലേക്ക് ഫലമായുണ്ടാകുന്ന മാട്രിക്സ് നൽകുന്നതിന് വേണ്ടിയാണ് നിർമ്മിച്ചിരിക്കുന്നത്. - 64. അയാൾക്ക് ഒരു 64xn മാട്രിക്സ് ലഭിച്ചു, തുടർന്ന് ഇതിൽ നിന്ന് കുറച്ച് വലുപ്പമുള്ള ഒരു ടെൻസർ സൃഷ്ടിക്കേണ്ടത് ആവശ്യമാണ്, അങ്ങനെ ചാനലുകളുടെ എണ്ണം 64 ന് തുല്യമാണ്. 0 മുതൽ 32 വരെയുള്ള ശ്രേണിയിലെ X, Y പോയിന്റുകളെല്ലാം അദ്ദേഹം നോർമലൈസ് ചെയ്തു. 32x32 വലിപ്പമുള്ള ടെൻസർ. എന്തുകൊണ്ടാണ് അവൻ 32x32 ആഗ്രഹിച്ചതെന്ന് എനിക്കറിയില്ല, അത് അങ്ങനെ സംഭവിച്ചു. ഈ കോർഡിനേറ്റിൽ അദ്ദേഹം 64xn വലുപ്പമുള്ള ഈ മാട്രിക്സിന്റെ ഒരു ഭാഗം സ്ഥാപിച്ചു. അതിനാൽ ഇത് നിങ്ങളുടെ കൺവല്യൂഷണൽ ന്യൂറൽ നെറ്റ്‌വർക്കിലേക്ക് കൂടുതൽ ഉൾപ്പെടുത്താൻ കഴിയുന്ന ഒരു 32x32x64 ടെൻസറിൽ അവസാനിച്ചു. എനിക്ക് പറയാൻ ആഗ്രഹിച്ചത് ഇത്രമാത്രം.

അവലംബം: www.habr.com