മാജിക് എൻസെംബിൾ ലേണിംഗ്

ഹേ ഹബർ! ഞങ്ങൾ ഡാറ്റ എഞ്ചിനീയർമാരെയും മെഷീൻ ലേണിംഗ് സ്പെഷ്യലിസ്റ്റുകളെയും ഒരു സൗജന്യ ഡെമോ പാഠത്തിലേക്ക് ക്ഷണിക്കുന്നു "ഓൺലൈൻ ശുപാർശകളുടെ ഉദാഹരണം ഉപയോഗിച്ച് വ്യാവസായിക അന്തരീക്ഷത്തിലേക്ക് ML മോഡലുകളുടെ ഔട്ട്പുട്ട്". ഞങ്ങൾ ലേഖനവും പ്രസിദ്ധീകരിക്കുന്നു Luca Monno - CDP SpA-യിലെ ഫിനാൻഷ്യൽ അനലിറ്റിക്‌സ് മേധാവി.

ഏറ്റവും ഉപയോഗപ്രദവും ലളിതവുമായ മെഷീൻ ലേണിംഗ് രീതികളിലൊന്നാണ് എൻസെംബിൾ ലേണിംഗ്. എൻസെംബിൾ ലേണിംഗ് എന്നത് XGBoost, Bagging, Random Forest തുടങ്ങി നിരവധി അൽഗോരിതങ്ങൾക്കു പിന്നിലെ രീതിയാണ്.

ഡാറ്റാ സയൻസിനെ കുറിച്ച് ധാരാളം ലേഖനങ്ങൾ ഉണ്ട്, പക്ഷേ ഞാൻ രണ്ട് കഥകൾ തിരഞ്ഞെടുത്തു (ആദ്യം и രണ്ടാമത്തേത്) എനിക്ക് ഏറ്റവും ഇഷ്ടപ്പെട്ടത്. പിന്നെ എന്തിനാണ് EL നെ കുറിച്ച് മറ്റൊരു ലേഖനം എഴുതുന്നത്? കാരണം ഞാൻ നിങ്ങളെ കാണിക്കാൻ ആഗ്രഹിക്കുന്നു ഒരു ലളിതമായ ഉദാഹരണം ഉപയോഗിച്ച് ഇത് എങ്ങനെ പ്രവർത്തിക്കുന്നു, ഇവിടെ മാന്ത്രികത ഇല്ലെന്ന് എന്നെ മനസ്സിലാക്കി.

ഞാൻ ആദ്യമായി EL പ്രവർത്തനത്തിൽ കണ്ടപ്പോൾ (വളരെ ലളിതമായ ചില റിഗ്രഷൻ മോഡലുകളിൽ പ്രവർത്തിക്കുന്നു) എനിക്ക് എന്റെ കണ്ണുകളെ വിശ്വസിക്കാൻ കഴിഞ്ഞില്ല, ഈ രീതി എന്നെ പഠിപ്പിച്ച പ്രൊഫസറെ ഞാൻ ഇപ്പോഴും ഓർക്കുന്നു.

എനിക്ക് മെട്രിക്കുകൾക്കൊപ്പം രണ്ട് വ്യത്യസ്ത മോഡലുകൾ (രണ്ട് ദുർബലമായ പരിശീലന അൽഗോരിതം) ഉണ്ടായിരുന്നു സാമ്പിൾ പുറത്ത് R² യഥാക്രമം 0,90, 0,93 എന്നിവയ്ക്ക് തുല്യമാണ്. ഫലം കാണുന്നതിന് മുമ്പ്, രണ്ട് യഥാർത്ഥ മൂല്യങ്ങൾക്കിടയിൽ എവിടെയെങ്കിലും ഒരു R² ലഭിക്കുമെന്ന് ഞാൻ കരുതി. മറ്റൊരു വിധത്തിൽ പറഞ്ഞാൽ, ഒരു മോഡൽ മോശം മോഡലിനെപ്പോലെ മോശമായി പ്രവർത്തിക്കാൻ EL ഉപയോഗിക്കുമെന്ന് ഞാൻ വിശ്വസിച്ചു, എന്നാൽ മികച്ച മോഡലിന് പ്രകടനം നടത്താൻ കഴിയില്ല.

എന്നെ അത്ഭുതപ്പെടുത്തിക്കൊണ്ട്, പ്രവചനങ്ങളുടെ ശരാശരിയിൽ 0,95 R² ലഭിച്ചു. 

ആദ്യം ഞാൻ തെറ്റ് അന്വേഷിക്കാൻ തുടങ്ങി, പക്ഷേ ഇവിടെ എന്തെങ്കിലും മാന്ത്രികത ഒളിഞ്ഞിരിക്കാമെന്ന് ഞാൻ കരുതി!

എന്താണ് എൻസെംബിൾ ലേണിംഗ്

EL ഉപയോഗിച്ച്, നിങ്ങൾക്ക് രണ്ടോ അതിലധികമോ മോഡലുകളുടെ പ്രവചനങ്ങൾ സംയോജിപ്പിച്ച് കൂടുതൽ കരുത്തുറ്റതും മികച്ചതുമായ ഒരു മോഡൽ നിർമ്മിക്കാൻ കഴിയും. മാതൃകാ സംഘങ്ങളുമായി പ്രവർത്തിക്കുന്നതിന് നിരവധി രീതികളുണ്ട്. ഒരു അവലോകനം നൽകുന്നതിന് ഏറ്റവും ഉപയോഗപ്രദമായ രണ്ടെണ്ണം ഞാൻ ഇവിടെ സ്പർശിക്കും.

സഹായത്തോടെ റിഗ്രഷൻ ലഭ്യമായ മോഡലുകളുടെ ശരാശരി പ്രകടനം സാധ്യമാണ്.

സഹായത്തോടെ വർഗ്ഗീകരണം നിങ്ങൾക്ക് മോഡലുകൾക്ക് ലേബലുകൾ തിരഞ്ഞെടുക്കാനുള്ള അവസരം നൽകാം. ഏറ്റവും കൂടുതൽ തിരഞ്ഞെടുക്കപ്പെട്ട ലേബലാണ് പുതിയ മോഡൽ തിരഞ്ഞെടുക്കുന്നത്.

എന്തുകൊണ്ടാണ് EL മികച്ച രീതിയിൽ പ്രവർത്തിക്കുന്നത്

EL മെച്ചമായി പ്രവർത്തിക്കുന്നതിന്റെ പ്രധാന കാരണം, എല്ലാ പ്രവചനങ്ങൾക്കും ഒരു പിശക് ഉണ്ട് എന്നതാണ് (ഇത് പ്രോബബിലിറ്റി സിദ്ധാന്തത്തിൽ നിന്ന് നമുക്കറിയാം), രണ്ട് പ്രവചനങ്ങൾ സംയോജിപ്പിക്കുന്നത് പിശക് കുറയ്ക്കാൻ സഹായിക്കും, അതിനാൽ പ്രകടന അളവുകൾ മെച്ചപ്പെടുത്താം (RMSE, R², മുതലായവ). d.).

ഒരു ഡാറ്റ സെറ്റിൽ രണ്ട് ദുർബലമായ അൽഗോരിതങ്ങൾ എങ്ങനെ പ്രവർത്തിക്കുന്നുവെന്ന് ഇനിപ്പറയുന്ന ഡയഗ്രം കാണിക്കുന്നു. ആദ്യത്തെ അൽഗോരിതത്തിന് ആവശ്യമുള്ളതിനേക്കാൾ വലിയ ചരിവുണ്ട്, രണ്ടാമത്തേതിന് ഏതാണ്ട് പൂജ്യമുണ്ട് (ഒരുപക്ഷേ അമിതമായ ക്രമപ്പെടുത്തൽ മൂലമാകാം). പക്ഷേ അഭിനേതാക്കള് വളരെ മികച്ച ഫലങ്ങൾ കാണിക്കുന്നു. 

നിങ്ങൾ R² സൂചകം നോക്കുകയാണെങ്കിൽ, ഒന്നും രണ്ടും പരിശീലന അൽഗോരിതം യഥാക്രമം -0.01¹, 0.22 ന് തുല്യമായിരിക്കും, അതേസമയം സമന്വയത്തിന് ഇത് 0.73 ന് തുല്യമായിരിക്കും.

ഇതുപോലുള്ള ഒരു അടിസ്ഥാന ഉദാഹരണത്തിൽ പോലും ഒരു അൽഗോരിതം മോശം മാതൃകയാകാൻ നിരവധി കാരണങ്ങളുണ്ട്: അമിത ഫിറ്റിംഗ് ഒഴിവാക്കാൻ നിങ്ങൾ റെഗുലറൈസേഷൻ ഉപയോഗിക്കാൻ തീരുമാനിച്ചിരിക്കാം, അല്ലെങ്കിൽ ചില അപാകതകൾ തള്ളിക്കളയേണ്ടെന്ന് നിങ്ങൾ തീരുമാനിച്ചിരിക്കാം, അല്ലെങ്കിൽ നിങ്ങൾ പോളിനോമിയൽ റിഗ്രഷൻ ഉപയോഗിച്ചു തെറ്റ് പറ്റിയതാകാം. ബിരുദം (ഉദാഹരണത്തിന്, ഞങ്ങൾ രണ്ടാം ഡിഗ്രിയുടെ ഒരു പോളിനോമിയൽ ഉപയോഗിച്ചു, കൂടാതെ ടെസ്റ്റ് ഡാറ്റ വ്യക്തമായ അസമമിതി കാണിക്കുന്നു, അതിന് മൂന്നാം ഡിഗ്രി കൂടുതൽ അനുയോജ്യമാകും).

EL മെച്ചമായി പ്രവർത്തിക്കുമ്പോൾ

ഒരേ ഡാറ്റയിൽ പ്രവർത്തിക്കുന്ന രണ്ട് പഠന അൽഗോരിതങ്ങൾ നോക്കാം.

രണ്ട് മോഡലുകളും സംയോജിപ്പിച്ച് പ്രകടനം കാര്യമായി മെച്ചപ്പെടുത്തിയില്ലെന്ന് ഇവിടെ നിങ്ങൾക്ക് കാണാൻ കഴിയും. തുടക്കത്തിൽ, രണ്ട് പരിശീലന അൽഗോരിതങ്ങൾക്കായി, R² സൂചകങ്ങൾ യഥാക്രമം -0,37, 0,22 എന്നിവയ്ക്ക് തുല്യമായിരുന്നു, കൂടാതെ സമന്വയത്തിന് ഇത് -0,04 ആയി മാറി. അതായത്, EL മോഡലിന് സൂചകങ്ങളുടെ ശരാശരി മൂല്യം ലഭിച്ചു.

എന്നിരുന്നാലും, ഈ രണ്ട് ഉദാഹരണങ്ങൾ തമ്മിൽ വലിയ വ്യത്യാസമുണ്ട്: ആദ്യ ഉദാഹരണത്തിൽ, മോഡൽ പിശകുകൾ നെഗറ്റീവ് ആയി ബന്ധപ്പെട്ടിരിക്കുന്നു, രണ്ടാമത്തേതിൽ, അവ ക്രിയാത്മകമായി ബന്ധപ്പെട്ടിരിക്കുന്നു (മൂന്ന് മോഡലുകളുടെ ഗുണകങ്ങൾ കണക്കാക്കിയിട്ടില്ല, പക്ഷേ തിരഞ്ഞെടുത്തത് ഒരു ഉദാഹരണമായി രചയിതാവ്.)

അതിനാൽ, ഏത് സാഹചര്യത്തിലും ബയസ്/വേരിയൻസ് ബാലൻസ് മെച്ചപ്പെടുത്താൻ എൻസെംബിൾ ലേണിംഗ് ഉപയോഗിക്കാം, എന്നാൽ എപ്പോൾ മോഡൽ പിശകുകൾ ക്രിയാത്മകമായി ബന്ധപ്പെട്ടിട്ടില്ല, EL ഉപയോഗിക്കുന്നത് മെച്ചപ്പെട്ട പ്രകടനത്തിലേക്ക് നയിച്ചേക്കാം.

ഏകതാനവും വൈവിധ്യപൂർണ്ണവുമായ മോഡലുകൾ

മിക്കപ്പോഴും EL ഏകതാനമായ മോഡലുകളിൽ ഉപയോഗിക്കുന്നു (ഈ ഉദാഹരണം അല്ലെങ്കിൽ ക്രമരഹിത വനം പോലെ), എന്നാൽ വാസ്തവത്തിൽ നിങ്ങൾക്ക് വ്യത്യസ്ത മോഡലുകൾ (ലീനിയർ റിഗ്രഷൻ + ന്യൂറൽ നെറ്റ്‌വർക്ക് + XGBoost) വ്യത്യസ്ത സെറ്റ് വിശദീകരണ വേരിയബിളുകളുമായി സംയോജിപ്പിക്കാൻ കഴിയും. ഇത് പരസ്പര ബന്ധമില്ലാത്ത പിശകുകൾക്കും മെച്ചപ്പെട്ട പ്രകടനത്തിനും കാരണമാകും.

പോർട്ട്ഫോളിയോ വൈവിധ്യവൽക്കരണവുമായി താരതമ്യം ചെയ്യുക

പോർട്ട്‌ഫോളിയോ സിദ്ധാന്തത്തിലെ വൈവിധ്യവൽക്കരണത്തിന് സമാനമായി EL പ്രവർത്തിക്കുന്നു, എന്നാൽ ഞങ്ങൾക്ക് അത്രയും മികച്ചതാണ്. 

വൈവിധ്യവത്കരിക്കുമ്പോൾ, പരസ്പര ബന്ധമില്ലാത്ത സ്റ്റോക്കുകളിൽ നിക്ഷേപിച്ച് നിങ്ങളുടെ പ്രകടനത്തിന്റെ വ്യത്യാസം കുറയ്ക്കാൻ നിങ്ങൾ ശ്രമിക്കുന്നു. സ്റ്റോക്കുകളുടെ വൈവിധ്യമാർന്ന പോർട്ട്‌ഫോളിയോ ഏറ്റവും മോശം വ്യക്തിഗത സ്റ്റോക്കിനേക്കാൾ മികച്ച പ്രകടനം കാഴ്ചവയ്ക്കും, എന്നാൽ ഒരിക്കലും മികച്ചതേക്കാൾ മികച്ചതാണ്.

വാറൻ ബഫറ്റിനെ ഉദ്ധരിക്കാൻ: 

"വൈവിധ്യവൽക്കരണം അജ്ഞതയ്‌ക്കെതിരായ ഒരു പ്രതിരോധമാണ്; താൻ എന്താണ് ചെയ്യുന്നതെന്ന് അറിയാത്ത ഒരാൾക്ക്, അത് [വൈവിധ്യവൽക്കരണം] വളരെ കുറച്ച് അർത്ഥമാക്കുന്നു."

മെഷീൻ ലേണിംഗിൽ, നിങ്ങളുടെ മോഡലിന്റെ വ്യത്യാസം കുറയ്ക്കാൻ EL സഹായിക്കുന്നു, എന്നാൽ ഇത് മികച്ച ഒറിജിനൽ മോഡലിനേക്കാൾ മികച്ച മൊത്തത്തിലുള്ള പ്രകടനമുള്ള ഒരു മോഡലിന് കാരണമായേക്കാം.

നമുക്ക് ഫലങ്ങളുടെ സംഖ്യ കൊടുക്കാം

ഒന്നിലധികം മോഡലുകൾ ഒന്നായി സംയോജിപ്പിക്കുന്നത് താരതമ്യേന ലളിതമായ ഒരു സാങ്കേതികതയാണ്, അത് വേരിയൻസ് ബയസിന്റെ പ്രശ്നം പരിഹരിക്കുന്നതിനും പ്രകടനം മെച്ചപ്പെടുത്തുന്നതിനും ഇടയാക്കും.

നിങ്ങൾക്ക് നന്നായി പ്രവർത്തിക്കുന്ന രണ്ടോ അതിലധികമോ മോഡലുകൾ ഉണ്ടെങ്കിൽ, അവയ്ക്കിടയിൽ തിരഞ്ഞെടുക്കരുത്: അവയെല്ലാം ഉപയോഗിക്കുക (പക്ഷേ ജാഗ്രതയോടെ)!

ഈ ദിശയിൽ വികസിപ്പിക്കാൻ നിങ്ങൾക്ക് താൽപ്പര്യമുണ്ടോ? ഒരു സൗജന്യ ഡെമോ പാഠത്തിനായി സൈൻ അപ്പ് ചെയ്യുക "ഓൺലൈൻ ശുപാർശകളുടെ ഉദാഹരണം ഉപയോഗിച്ച് വ്യാവസായിക അന്തരീക്ഷത്തിലേക്ക് ML മോഡലുകളുടെ ഔട്ട്പുട്ട്" പങ്കെടുക്കുകയും ചെയ്യുന്നു ആൻഡ്രി കുസ്നെറ്റ്സോവുമായുള്ള ഓൺലൈൻ മീറ്റിംഗ് - Mail.ru ഗ്രൂപ്പിലെ മെഷീൻ ലേണിംഗ് എഞ്ചിനീയർ.

അവലംബം: www.habr.com