മെഷീൻ ലേണിംഗിൽ ഫീച്ചർ തിരഞ്ഞെടുക്കൽ

ഹേ ഹബർ!

ഞങ്ങൾ റെക്‌സോഫ്റ്റിലെ ലേഖനം റഷ്യൻ ഭാഷയിലേക്ക് വിവർത്തനം ചെയ്തു മെഷീൻ ലേണിംഗിലെ ഫീച്ചർ സെലക്ഷൻ. വിഷയത്തിൽ താൽപ്പര്യമുള്ള എല്ലാവർക്കും ഇത് ഉപയോഗപ്രദമാകുമെന്ന് ഞങ്ങൾ പ്രതീക്ഷിക്കുന്നു.

യഥാർത്ഥ ലോകത്ത്, ബിസിനസ് ഉപഭോക്താക്കൾ ചിലപ്പോൾ കരുതുന്നത് പോലെ ഡാറ്റ എപ്പോഴും വൃത്തിയുള്ളതല്ല. അതുകൊണ്ടാണ് ഡാറ്റാ മൈനിംഗും ഡാറ്റാ റാംഗിംഗും ആവശ്യക്കാരുള്ളത്. മനുഷ്യർക്ക് തിരിച്ചറിയാൻ കഴിയാത്ത അന്വേഷണ-ഘടനാപരമായ ഡാറ്റയിലെ നഷ്ടപ്പെട്ട മൂല്യങ്ങളും പാറ്റേണുകളും തിരിച്ചറിയാൻ ഇത് സഹായിക്കുന്നു. ഡാറ്റയിൽ കണ്ടെത്തിയ ബന്ധങ്ങൾ ഉപയോഗിച്ച് ഫലങ്ങൾ പ്രവചിക്കാൻ ഈ പാറ്റേണുകൾ കണ്ടെത്തുന്നതിനും ഉപയോഗിക്കുന്നതിനും, മെഷീൻ ലേണിംഗ് ഉപയോഗപ്രദമാണ്.

ഏതെങ്കിലും അൽഗോരിതം മനസിലാക്കാൻ, നിങ്ങൾ ഡാറ്റയിലെ എല്ലാ വേരിയബിളുകളും നോക്കുകയും ആ വേരിയബിളുകൾ എന്താണ് പ്രതിനിധീകരിക്കുന്നതെന്ന് കണ്ടെത്തുകയും വേണം. ഇത് നിർണായകമാണ്, കാരണം ഫലങ്ങളുടെ പിന്നിലെ യുക്തി ഡാറ്റ മനസ്സിലാക്കുന്നതിനെ അടിസ്ഥാനമാക്കിയുള്ളതാണ്. ഡാറ്റയിൽ 5 അല്ലെങ്കിൽ 50 വേരിയബിളുകൾ അടങ്ങിയിട്ടുണ്ടെങ്കിൽ, നിങ്ങൾക്ക് അവയെല്ലാം പരിശോധിക്കാം. അവയിൽ 200 എണ്ണം ഉണ്ടെങ്കിൽ എന്തുചെയ്യും? അപ്പോൾ ഓരോ വേരിയബിളും പഠിക്കാൻ മതിയായ സമയം ഉണ്ടാകില്ല. മാത്രമല്ല, ചില അൽ‌ഗോരിതങ്ങൾ കാറ്റഗറി ഡാറ്റയ്‌ക്കായി പ്രവർത്തിക്കില്ല, തുടർന്ന് അവയെ മോഡലിലേക്ക് ചേർക്കുന്നതിന് നിങ്ങൾ എല്ലാ വിഭാഗീയ കോളങ്ങളും ക്വാണ്ടിറ്റേറ്റീവ് വേരിയബിളുകളിലേക്ക് പരിവർത്തനം ചെയ്യേണ്ടതുണ്ട് (അവ ക്വാണ്ടിറ്റേറ്റീവ് ആയി കാണപ്പെടാം, പക്ഷേ മെട്രിക്‌സ് അവ വിഭാഗീയമാണെന്ന് കാണിക്കും). അങ്ങനെ, വേരിയബിളുകളുടെ എണ്ണം വർദ്ധിക്കുന്നു, അവയിൽ ഏകദേശം 500 ഉണ്ട്, ഇപ്പോൾ എന്തുചെയ്യണം? മാനം കുറയ്ക്കുക എന്നതായിരിക്കും ഉത്തരം എന്ന് ഒരാൾ ചിന്തിച്ചേക്കാം. ഡൈമൻഷണാലിറ്റി റിഡക്ഷൻ അൽഗോരിതങ്ങൾ പാരാമീറ്ററുകളുടെ എണ്ണം കുറയ്ക്കുന്നു, പക്ഷേ വ്യാഖ്യാനത്തിൽ പ്രതികൂല സ്വാധീനം ചെലുത്തുന്നു. ശേഷിക്കുന്നവ മനസ്സിലാക്കാനും വ്യാഖ്യാനിക്കാനും എളുപ്പമാക്കുമ്പോൾ സവിശേഷതകളെ ഇല്ലാതാക്കുന്ന മറ്റ് സാങ്കേതിക വിദ്യകൾ ഉണ്ടെങ്കിലോ?

വിശകലനം റിഗ്രഷൻ അല്ലെങ്കിൽ വർഗ്ഗീകരണത്തെ അടിസ്ഥാനമാക്കിയുള്ളതാണോ എന്നതിനെ ആശ്രയിച്ച്, ഫീച്ചർ തിരഞ്ഞെടുക്കൽ അൽഗോരിതങ്ങൾ വ്യത്യാസപ്പെട്ടിരിക്കാം, പക്ഷേ അവ നടപ്പിലാക്കുന്നതിന്റെ പ്രധാന ആശയം അതേപടി തുടരുന്നു.

വളരെ പരസ്പരബന്ധിതമായ വേരിയബിളുകൾ

പരസ്പരം വളരെയധികം ബന്ധപ്പെട്ടിരിക്കുന്ന വേരിയബിളുകൾ മോഡലിന് സമാന വിവരങ്ങൾ നൽകുന്നു, അതിനാൽ അവയെല്ലാം വിശകലനത്തിനായി ഉപയോഗിക്കേണ്ടതില്ല. ഉദാഹരണത്തിന്, ഒരു ഡാറ്റാസെറ്റിൽ "ഓൺലൈൻ സമയം", "ട്രാഫിക് ഉപയോഗിച്ചത്" എന്നീ ഫീച്ചറുകൾ അടങ്ങിയിട്ടുണ്ടെങ്കിൽ, അവ ഒരു പരിധിവരെ പരസ്പരബന്ധിതമാകുമെന്ന് നമുക്ക് അനുമാനിക്കാം, കൂടാതെ നമ്മൾ ഒരു നിഷ്പക്ഷ ഡാറ്റാ സാമ്പിൾ തിരഞ്ഞെടുത്താലും ശക്തമായ പരസ്പരബന്ധം കാണും. ഈ സാഹചര്യത്തിൽ, ഈ വേരിയബിളുകളിൽ ഒന്ന് മാത്രമേ മോഡലിൽ ആവശ്യമുള്ളൂ. നിങ്ങൾ രണ്ടും ഉപയോഗിക്കുകയാണെങ്കിൽ, മോഡൽ അമിതമായി ഘടിപ്പിക്കുകയും ഒരു പ്രത്യേക സവിശേഷതയോട് പക്ഷപാതം കാണിക്കുകയും ചെയ്യും.

പി-മൂല്യങ്ങൾ

ലീനിയർ റിഗ്രഷൻ പോലുള്ള അൽഗോരിതങ്ങളിൽ, ഒരു പ്രാരംഭ സ്റ്റാറ്റിസ്റ്റിക്കൽ മോഡൽ എപ്പോഴും നല്ല ആശയമാണ്. ഈ മോഡലിന് ലഭിച്ച പി-മൂല്യങ്ങളിലൂടെ സവിശേഷതകളുടെ പ്രാധാന്യം കാണിക്കാൻ ഇത് സഹായിക്കുന്നു. പ്രാധാന്യ ലെവൽ സജ്ജീകരിച്ച ശേഷം, ഫലമായുണ്ടാകുന്ന പി-മൂല്യങ്ങൾ ഞങ്ങൾ പരിശോധിക്കുന്നു, ഏതെങ്കിലും മൂല്യം നിർദ്ദിഷ്ട പ്രാധാന്യ ലെവലിന് താഴെയാണെങ്കിൽ, ഈ സവിശേഷത പ്രാധാന്യമുള്ളതായി പ്രഖ്യാപിക്കപ്പെടുന്നു, അതായത്, അതിന്റെ മൂല്യത്തിലെ മാറ്റം മൂല്യത്തിലെ മാറ്റത്തിന് കാരണമാകും. ലക്ഷ്യം.

നേരിട്ടുള്ള തിരഞ്ഞെടുപ്പ്

ഘട്ടം ഘട്ടമായുള്ള റിഗ്രഷൻ പ്രയോഗിക്കുന്നത് ഉൾപ്പെടുന്ന ഒരു സാങ്കേതികതയാണ് ഫോർവേഡ് സെലക്ഷൻ. മോഡൽ ബിൽഡിംഗ് ആരംഭിക്കുന്നത് പൂർണ്ണമായ പൂജ്യത്തിൽ നിന്നാണ്, അതായത്, ഒരു ശൂന്യമായ മോഡൽ, തുടർന്ന് ഓരോ ആവർത്തനവും ഒരു വേരിയബിൾ ചേർക്കുന്നു, അത് നിർമ്മിക്കുന്ന മോഡലിന് മെച്ചപ്പെടുത്തൽ നൽകുന്നു. മോഡലിൽ ഏത് വേരിയബിളാണ് ചേർക്കുന്നത് എന്നത് അതിന്റെ പ്രാധാന്യം അനുസരിച്ചാണ് നിർണ്ണയിക്കുന്നത്. വിവിധ അളവുകൾ ഉപയോഗിച്ച് ഇത് കണക്കാക്കാം. എല്ലാ വേരിയബിളുകളും ഉപയോഗിച്ച് യഥാർത്ഥ സ്റ്റാറ്റിസ്റ്റിക്കൽ മോഡലിൽ ലഭിച്ച പി-മൂല്യങ്ങൾ ഉപയോഗിക്കുന്നതാണ് ഏറ്റവും സാധാരണമായ മാർഗ്ഗം. ചില സമയങ്ങളിൽ ഫോർവേഡ് സെലക്ഷൻ ഒരു മോഡലിനെ ഓവർഫിറ്റ് ചെയ്യുന്നതിന് ഇടയാക്കിയേക്കാം, കാരണം മോഡലിന് സമാന വിവരങ്ങൾ നൽകിയാലും മോഡലിൽ ഉയർന്ന പരസ്പരബന്ധമുള്ള വേരിയബിളുകൾ ഉണ്ടായിരിക്കാം (എന്നാൽ മോഡൽ ഇപ്പോഴും പുരോഗതി കാണിക്കുന്നു).

വിപരീത തിരഞ്ഞെടുപ്പ്

റിവേഴ്സ് സെലക്ഷനിൽ സ്വഭാവഗുണങ്ങളുടെ ഘട്ടം ഘട്ടമായുള്ള ഉന്മൂലനം ഉൾപ്പെടുന്നു, എന്നാൽ ഫോർവേഡ് സെലക്ഷനുമായി താരതമ്യം ചെയ്യുമ്പോൾ വിപരീത ദിശയിലാണ്. ഈ സാഹചര്യത്തിൽ, പ്രാരംഭ മോഡലിൽ എല്ലാ സ്വതന്ത്ര വേരിയബിളുകളും ഉൾപ്പെടുന്നു. ഓരോ ആവർത്തനത്തിലും പുതിയ റിഗ്രഷൻ മോഡലിന് മൂല്യം സംഭാവന ചെയ്യുന്നില്ലെങ്കിൽ വേരിയബിളുകൾ ഒഴിവാക്കപ്പെടും (ഓരോ ആവർത്തനത്തിനും ഒന്ന്). പ്രാരംഭ മോഡലിന്റെ പി-മൂല്യങ്ങളെ അടിസ്ഥാനമാക്കിയുള്ളതാണ് ഫീച്ചർ ഒഴിവാക്കൽ. വളരെ പരസ്പരബന്ധമുള്ള വേരിയബിളുകൾ നീക്കം ചെയ്യുമ്പോൾ ഈ രീതിക്ക് അനിശ്ചിതത്വമുണ്ട്.

ആവർത്തന ഫീച്ചർ എലിമിനേഷൻ

പ്രധാനപ്പെട്ട ഫീച്ചറുകളുടെ കൃത്യമായ എണ്ണം തിരഞ്ഞെടുക്കുന്നതിന് വ്യാപകമായി ഉപയോഗിക്കപ്പെടുന്ന ഒരു സാങ്കേതികത/അൽഗരിതം ആണ് RFE. ഫലങ്ങളെ സ്വാധീനിക്കുന്ന "ഏറ്റവും പ്രധാനപ്പെട്ട" സവിശേഷതകൾ വിശദീകരിക്കാൻ ചിലപ്പോൾ ഈ രീതി ഉപയോഗിക്കുന്നു; ചിലപ്പോൾ വളരെ വലിയ വേരിയബിളുകൾ കുറയ്ക്കുന്നതിന് (ഏകദേശം 200-400), കൂടാതെ മോഡലിന് കുറച്ച് സംഭാവനകളെങ്കിലും നൽകുന്നവ മാത്രം നിലനിർത്തുകയും മറ്റെല്ലാം ഒഴിവാക്കുകയും ചെയ്യുന്നു. RFE ഒരു റാങ്കിംഗ് സിസ്റ്റം ഉപയോഗിക്കുന്നു. ഡാറ്റാ സെറ്റിലെ സവിശേഷതകൾക്ക് റാങ്കുകൾ നൽകിയിരിക്കുന്നു. ഈ റാങ്കുകൾ അവയ്‌ക്കിടയിലുള്ള കോളിനിയറിറ്റിയെയും മോഡലിലെ ആ സവിശേഷതകളുടെ പ്രാധാന്യത്തെയും അടിസ്ഥാനമാക്കിയുള്ള സവിശേഷതകൾ ആവർത്തിച്ച് ഇല്ലാതാക്കാൻ ഉപയോഗിക്കുന്നു. റാങ്കിംഗ് ഫീച്ചറുകൾക്ക് പുറമേ, ഈ ഫീച്ചറുകൾ പ്രധാനമാണോ അല്ലയോ എന്ന് RFE-ന് കാണിക്കാൻ കഴിയും (കാരണം തിരഞ്ഞെടുത്ത ഫീച്ചറുകളുടെ എണ്ണം ഒപ്റ്റിമൽ ആയിരിക്കണമെന്നില്ല, കൂടാതെ ഒപ്റ്റിമൽ ഫീച്ചറുകളുടെ എണ്ണം ഒന്നുകിൽ കൂടുതൽ ആയിരിക്കാം. അല്ലെങ്കിൽ തിരഞ്ഞെടുത്ത സംഖ്യയേക്കാൾ കുറവ്).

ഫീച്ചർ പ്രാധാന്യമുള്ള ഡയഗ്രം

മെഷീൻ ലേണിംഗ് അൽഗോരിതങ്ങളുടെ വ്യാഖ്യാനത്തെക്കുറിച്ച് സംസാരിക്കുമ്പോൾ, ഞങ്ങൾ സാധാരണയായി ലീനിയർ റിഗ്രഷനുകളും (പി-മൂല്യം ഉപയോഗിച്ച് സവിശേഷതകളുടെ പ്രാധാന്യം വിശകലനം ചെയ്യാൻ നിങ്ങളെ അനുവദിക്കുന്നു), ഡിസിഷൻ ട്രീകളും (അക്ഷരാർത്ഥത്തിൽ ഒരു വൃക്ഷത്തിന്റെ രൂപത്തിൽ സവിശേഷതകളുടെ പ്രാധാന്യം കാണിക്കുന്നു, കൂടാതെ അതേ സമയം അവരുടെ ശ്രേണി). മറുവശത്ത്, റാൻഡം ഫോറസ്റ്റ്, ലൈറ്റ്ജിബിഎം, എക്സ്ജി ബൂസ്റ്റ് തുടങ്ങിയ അൽഗോരിതങ്ങൾ പലപ്പോഴും ഫീച്ചർ പ്രാധാന്യമുള്ള ഡയഗ്രം ഉപയോഗിക്കുന്നു, അതായത്, വേരിയബിളുകളുടെ ഒരു ഡയഗ്രം, "അവയുടെ പ്രാധാന്യ സംഖ്യകൾ" എന്നിവ പ്ലോട്ട് ചെയ്യുന്നു. ആട്രിബ്യൂട്ടുകളുടെ ബിസിനസ്സിൽ അവയുടെ സ്വാധീനത്തിന്റെ അടിസ്ഥാനത്തിൽ അവയുടെ പ്രാധാന്യത്തിന് ഘടനാപരമായ യുക്തി നൽകേണ്ടിവരുമ്പോൾ ഇത് പ്രത്യേകിച്ചും ഉപയോഗപ്രദമാണ്.

റെഗുലറൈസേഷൻ

പക്ഷപാതവും വ്യതിയാനവും തമ്മിലുള്ള സന്തുലിതാവസ്ഥ നിയന്ത്രിക്കുന്നതിനാണ് റെഗുലറൈസേഷൻ നടത്തുന്നത്. പരിശീലന ഡാറ്റാ സെറ്റിൽ മോഡൽ എത്രമാത്രം അധികമായി ഘടിപ്പിച്ചിട്ടുണ്ടെന്ന് ബയസ് കാണിക്കുന്നു. പരിശീലനവും ടെസ്റ്റ് ഡാറ്റാസെറ്റുകളും തമ്മിലുള്ള പ്രവചനങ്ങൾ എത്ര വ്യത്യസ്തമായിരുന്നുവെന്ന് വ്യതിയാനം കാണിക്കുന്നു. പക്ഷപാതവും വ്യതിയാനവും ചെറുതായിരിക്കണം. ഇവിടെയാണ് റെഗുലറൈസേഷൻ രക്ഷയ്ക്ക് വരുന്നത്! രണ്ട് പ്രധാന ടെക്നിക്കുകൾ ഉണ്ട്:

L1 റെഗുലറൈസേഷൻ - ലാസ്സോ: മോഡലിന്റെ പ്രാധാന്യം മാറ്റാൻ ലാസ്സോ മോഡൽ വെയ്റ്റുകളെ പിഴ ചുമത്തുന്നു, അവ അസാധുവാക്കാനും കഴിയും (അതായത്, അന്തിമ മോഡലിൽ നിന്ന് ആ വേരിയബിളുകൾ നീക്കം ചെയ്യുക). സാധാരണഗതിയിൽ, ഒരു ഡാറ്റാസെറ്റിൽ ധാരാളം വേരിയബിളുകൾ അടങ്ങിയിരിക്കുമ്പോൾ ലാസ്സോ ഉപയോഗിക്കുന്നു, കൂടാതെ പ്രധാന സവിശേഷതകൾ മോഡലിനെ എങ്ങനെ ബാധിക്കുന്നുവെന്ന് നന്നായി മനസ്സിലാക്കാൻ അവയിൽ ചിലത് നിങ്ങൾ ഒഴിവാക്കണം (അതായത്, ലസ്സോ തിരഞ്ഞെടുത്തതും പ്രാധാന്യം നൽകിയതുമായ സവിശേഷതകൾ).

L2 റെഗുലറൈസേഷൻ - റിഡ്ജ് രീതി: റിഡ്ജിന്റെ ജോലി എല്ലാ വേരിയബിളുകളും സംഭരിക്കുകയും അതേ സമയം മോഡലിന്റെ പ്രകടനത്തിലെ അവരുടെ സംഭാവനയെ അടിസ്ഥാനമാക്കി അവയ്ക്ക് പ്രാധാന്യം നൽകുകയും ചെയ്യുക എന്നതാണ്. ഡാറ്റാസെറ്റിൽ ഒരു ചെറിയ എണ്ണം വേരിയബിളുകൾ അടങ്ങിയിട്ടുണ്ടെങ്കിലും അവയെല്ലാം ലഭിച്ച കണ്ടെത്തലുകളും ഫലങ്ങളും വ്യാഖ്യാനിക്കണമെങ്കിൽ റിഡ്ജ് ഒരു നല്ല തിരഞ്ഞെടുപ്പായിരിക്കും.

റിഡ്ജ് എല്ലാ വേരിയബിളുകളും സൂക്ഷിക്കുന്നതിനാലും അവയുടെ പ്രാധാന്യം സ്ഥാപിക്കുന്നതിൽ ലസ്സോ മികച്ച ജോലി ചെയ്യുന്നതിനാലും, ഇലാസ്റ്റിക്-നെറ്റ് എന്നറിയപ്പെടുന്ന രണ്ട് റെഗുലറൈസേഷനുകളുടെയും മികച്ച സവിശേഷതകൾ സംയോജിപ്പിക്കുന്ന ഒരു അൽഗോരിതം വികസിപ്പിച്ചെടുത്തു.

മെഷീൻ ലേണിംഗിനായി സവിശേഷതകൾ തിരഞ്ഞെടുക്കുന്നതിന് നിരവധി മാർഗങ്ങളുണ്ട്, പക്ഷേ പ്രധാന ആശയം എല്ലായ്പ്പോഴും സമാനമാണ്: വേരിയബിളുകളുടെ പ്രാധാന്യം പ്രകടിപ്പിക്കുകയും ഫലമായുണ്ടാകുന്ന പ്രാധാന്യത്തെ അടിസ്ഥാനമാക്കി അവയിൽ ചിലത് ഇല്ലാതാക്കുകയും ചെയ്യുക. പ്രാധാന്യം എന്നത് വളരെ ആത്മനിഷ്ഠമായ ഒരു പദമാണ്, കാരണം ഇത് കേവലം ഒന്നല്ല, പ്രധാന ആട്രിബ്യൂട്ടുകൾ കണ്ടെത്താൻ ഉപയോഗിക്കാവുന്ന ഒരു കൂട്ടം അളവുകോലുകളും ചാർട്ടുകളും.

വായിച്ചതിന് നന്ദി! സന്തോഷകരമായ പഠനം!

അവലംബം: www.habr.com