പൈത്തൺ, അനക്കോണ്ട, മറ്റ് ഉരഗങ്ങൾ എന്നിവയില്ലാതെ മെഷീൻ ലേണിംഗ്

ഇല്ല, ശരി, തീർച്ചയായും, ഞാൻ ഗൗരവമുള്ളയാളല്ല. ഒരു വിഷയം ലഘൂകരിക്കുന്നതിന് ഒരു പരിധി ഉണ്ടായിരിക്കണം. എന്നാൽ ആദ്യ ഘട്ടങ്ങളിൽ, അടിസ്ഥാന ആശയങ്ങൾ മനസിലാക്കുകയും വിഷയം വേഗത്തിൽ "പ്രവേശിപ്പിക്കുകയും" ചെയ്യുന്നത് സ്വീകാര്യമായേക്കാം. ഈ മെറ്റീരിയലിന് എങ്ങനെ ശരിയായി പേര് നൽകാമെന്ന് ഞങ്ങൾ ചർച്ച ചെയ്യും (ഓപ്ഷനുകൾ: "ഡമ്മികൾക്കുള്ള മെഷീൻ ലേണിംഗ്", "ഡയപ്പറുകളിൽ നിന്നുള്ള ഡാറ്റ വിശകലനം", "ചെറിയ കുട്ടികൾക്കുള്ള അൽഗോരിതംസ്").

വിഷയത്തിലേക്ക്. ഡാറ്റ വിശകലനം ചെയ്യുമ്പോൾ വ്യത്യസ്ത മെഷീൻ ലേണിംഗ് രീതികളിൽ സംഭവിക്കുന്ന പ്രക്രിയകളുടെ ദൃശ്യവൽക്കരണത്തിനും വിഷ്വൽ പ്രാതിനിധ്യത്തിനുമായി MS Excel-ൽ നിരവധി ആപ്ലിക്കേഷൻ പ്രോഗ്രാമുകൾ എഴുതി. ഈ രീതികളിൽ ഭൂരിഭാഗവും വികസിപ്പിച്ചെടുത്ത സംസ്കാരത്തിന്റെ വാഹകർ പറയുന്നതുപോലെ, വിശ്വസിക്കുന്നതാണ് കാണുന്നത്. ഞങ്ങളുടെ സ്വഹാബിയായ വ്‌ളാഡിമിർ വാപ്‌നിക്, മോസ്കോ ഇൻസ്റ്റിറ്റ്യൂട്ട് ഓഫ് മാനേജ്‌മെന്റ്, 1963, എന്നിരുന്നാലും, ഇപ്പോൾ അദ്ദേഹം യു‌എസ്‌എയിൽ പഠിപ്പിക്കുകയും ജോലി ചെയ്യുകയും ചെയ്യുന്നു).

മൂന്ന് ഫയലുകൾ അവലോകനത്തിന്

1. K- എന്നാൽ ക്ലസ്റ്ററിംഗ്

പ്രാരംഭ ഡാറ്റയെ മുൻകൂട്ടി അറിയാവുന്ന ഒരു നിശ്ചിത എണ്ണം വിഭാഗങ്ങളായി വിഭജിക്കേണ്ടിവരുമ്പോൾ ഇത്തരത്തിലുള്ള പ്രശ്‌നങ്ങൾ "മേൽനോട്ടമില്ലാത്ത പഠനത്തെ" പരാമർശിക്കുന്നു, എന്നാൽ ഞങ്ങൾക്ക് "ശരിയായ ഉത്തരങ്ങൾ" ഇല്ല; ഡാറ്റയിൽ നിന്ന് തന്നെ അവ വേർതിരിച്ചെടുക്കണം. . ഐറിസ് പൂക്കളുടെ ഉപജാതികളെ കണ്ടെത്തുന്നതിനുള്ള അടിസ്ഥാന ക്ലാസിക്കൽ പ്രശ്നം (റൊണാൾഡ് ഫിഷർ, 1936!), ഈ വിജ്ഞാന മേഖലയുടെ ആദ്യ അടയാളമായി കണക്കാക്കപ്പെടുന്നു, ഇത് ഈ സ്വഭാവമുള്ളതാണ്.

രീതി വളരെ ലളിതമാണ്. നമുക്ക് വെക്റ്ററുകളായി പ്രതിനിധീകരിക്കുന്ന ഒരു കൂട്ടം ഒബ്‌ജക്‌റ്റുകൾ ഉണ്ട് (N നമ്പറുകളുടെ സെറ്റുകൾ). ഐറിസുകളിൽ, ഇവ പൂവിന്റെ സ്വഭാവ സവിശേഷതകളുള്ള 4 സംഖ്യകളുടെ കൂട്ടങ്ങളാണ്: പെരിയാന്തിന്റെ പുറം, അകത്തെ ഭാഗങ്ങളുടെ നീളവും വീതിയും യഥാക്രമം (ഫിഷറുടെ irises - വിക്കിപീഡിയ). സാധാരണ കാർട്ടീഷ്യൻ മെട്രിക് ദൂരമായി തിരഞ്ഞെടുത്തിരിക്കുന്നു, അല്ലെങ്കിൽ വസ്തുക്കൾ തമ്മിലുള്ള സാമീപ്യത്തിന്റെ അളവാണ്.

അടുത്തതായി, ക്ലസ്റ്റർ കേന്ദ്രങ്ങൾ ക്രമരഹിതമായി തിരഞ്ഞെടുക്കപ്പെടുന്നു (അല്ലെങ്കിൽ ക്രമരഹിതമല്ല, ചുവടെ കാണുക), കൂടാതെ ഓരോ വസ്തുവിൽ നിന്നും ക്ലസ്റ്റർ കേന്ദ്രങ്ങളിലേക്കുള്ള ദൂരം കണക്കാക്കുന്നു. തന്നിരിക്കുന്ന ആവർത്തന ഘട്ടത്തിലെ ഓരോ വസ്തുവും ഏറ്റവും അടുത്തുള്ള കേന്ദ്രത്തിൽ പെട്ടതായി അടയാളപ്പെടുത്തിയിരിക്കുന്നു. ഓരോ ക്ലസ്റ്ററിന്റെയും കേന്ദ്രം അതിന്റെ അംഗങ്ങളുടെ കോർഡിനേറ്റുകളുടെ ഗണിത ശരാശരിയിലേക്ക് മാറ്റുന്നു (ഭൗതികശാസ്ത്രവുമായി സാമ്യമുള്ളതിനാൽ, ഇതിനെ "പിണ്ഡത്തിന്റെ കേന്ദ്രം" എന്നും വിളിക്കുന്നു), നടപടിക്രമം ആവർത്തിക്കുന്നു.

പ്രക്രിയ വളരെ വേഗത്തിൽ ഒത്തുചേരുന്നു. രണ്ട് അളവിലുള്ള ചിത്രങ്ങളിൽ ഇത് ഇതുപോലെ കാണപ്പെടുന്നു:

1. വിമാനത്തിലെ പോയിന്റുകളുടെ പ്രാരംഭ ക്രമരഹിതമായ വിതരണവും ക്ലസ്റ്ററുകളുടെ എണ്ണവും

2. ക്ലസ്റ്റർ കേന്ദ്രങ്ങൾ വ്യക്തമാക്കുകയും അവയുടെ ക്ലസ്റ്ററുകൾക്ക് പോയിന്റുകൾ നൽകുകയും ചെയ്യുന്നു

3. ക്ലസ്റ്റർ കേന്ദ്രങ്ങളുടെ കോർഡിനേറ്റുകൾ കൈമാറ്റം ചെയ്യുക, കേന്ദ്രങ്ങൾ സ്ഥിരത കൈവരിക്കുന്നതുവരെ പോയിന്റുകളുടെ അഫിലിയേഷൻ വീണ്ടും കണക്കാക്കുക. ക്ലസ്റ്റർ സെന്റർ അതിന്റെ അവസാന സ്ഥാനത്തേക്ക് നീങ്ങുന്നതിന്റെ പാത ദൃശ്യമാണ്.

എപ്പോൾ വേണമെങ്കിലും, നിങ്ങൾക്ക് പുതിയ ക്ലസ്റ്റർ സെന്ററുകൾ സജ്ജമാക്കാൻ കഴിയും (പോയിന്റുകളുടെ ഒരു പുതിയ വിതരണം സൃഷ്ടിക്കാതെ!) പാർട്ടീഷനിംഗ് പ്രക്രിയ എല്ലായ്പ്പോഴും അവ്യക്തമല്ലെന്ന് കാണുക. ഗണിതശാസ്ത്രപരമായി, ഇതിനർത്ഥം ഫംഗ്‌ഷൻ ഒപ്റ്റിമൈസ് ചെയ്യപ്പെടുന്നതിന് (പോയിന്റുകളിൽ നിന്ന് അവയുടെ ക്ലസ്റ്ററുകളുടെ കേന്ദ്രങ്ങളിലേക്കുള്ള സ്‌ക്വയർ ദൂരത്തിന്റെ ആകെത്തുക), ഞങ്ങൾ ആഗോളമല്ല, പ്രാദേശിക മിനിമം കണ്ടെത്തുന്നു. പ്രാരംഭ ക്ലസ്റ്റർ കേന്ദ്രങ്ങളുടെ ക്രമരഹിതമായ തിരഞ്ഞെടുപ്പിലൂടെയോ അല്ലെങ്കിൽ സാധ്യമായ കേന്ദ്രങ്ങൾ എണ്ണുന്നതിലൂടെയോ ഈ പ്രശ്നം മറികടക്കാൻ കഴിയും (ചിലപ്പോൾ അവയെ കൃത്യമായി ഒരു പോയിന്റിൽ സ്ഥാപിക്കുന്നത് പ്രയോജനകരമാണ്, കുറഞ്ഞത് നമുക്ക് ശൂന്യമാകില്ലെന്ന് ഉറപ്പുനൽകുന്നു. ക്ലസ്റ്ററുകൾ). ഏത് സാഹചര്യത്തിലും, ഒരു പരിമിതമായ സെറ്റിന് എല്ലായ്പ്പോഴും ഒരു ഇൻഫിമം ഉണ്ട്.

ഈ ലിങ്കിൽ നിങ്ങൾക്ക് ഈ ഫയൽ ഉപയോഗിച്ച് പ്ലേ ചെയ്യാം (മാക്രോ പിന്തുണ പ്രവർത്തനക്ഷമമാക്കാൻ മറക്കരുത്. ഫയലുകൾ വൈറസുകൾക്കായി സ്കാൻ ചെയ്തിട്ടുണ്ട്)

വിക്കിപീഡിയയിലെ രീതിയുടെ വിവരണം - k- എന്നാൽ രീതി

2. പോളിനോമിയലുകളും ഡാറ്റ ബ്രേക്ക്ഡൗണും വഴിയുള്ള ഏകദേശ കണക്ക്. വീണ്ടും പരിശീലനം

ശ്രദ്ധേയനായ ശാസ്ത്രജ്ഞനും ഡാറ്റാ സയൻസിന്റെ ജനകീയനുമായ കെ.വി. വോറോണ്ട്സോവ് മെഷീൻ ലേണിംഗ് രീതികളെ "പോയിന്റ് വഴി വക്രങ്ങൾ വരയ്ക്കുന്ന ശാസ്ത്രം" എന്ന് ചുരുക്കമായി വിവരിക്കുന്നു. ഈ ഉദാഹരണത്തിൽ, ഏറ്റവും കുറഞ്ഞ സ്ക്വയർ രീതി ഉപയോഗിച്ച് ഞങ്ങൾ ഡാറ്റയിൽ ഒരു പാറ്റേൺ കണ്ടെത്തും.

ഉറവിട ഡാറ്റയെ "പരിശീലനം", "നിയന്ത്രണം" എന്നിങ്ങനെ വിഭജിക്കുന്ന സാങ്കേതികത കാണിക്കുന്നു, അതുപോലെ തന്നെ ഡാറ്റയിലേക്ക് വീണ്ടും പരിശീലനം അല്ലെങ്കിൽ "വീണ്ടും ക്രമീകരിക്കൽ" പോലുള്ള ഒരു പ്രതിഭാസവും കാണിക്കുന്നു. ശരിയായ ഏകദേശ കണക്കനുസരിച്ച്, പരിശീലന ഡാറ്റയിൽ ഞങ്ങൾക്ക് ഒരു നിശ്ചിത പിശകും നിയന്ത്രണ ഡാറ്റയിൽ അൽപ്പം വലിയ പിശകും ഉണ്ടാകും. തെറ്റാണെങ്കിൽ, അത് പരിശീലന ഡാറ്റയുടെ കൃത്യമായ ക്രമീകരണത്തിനും ടെസ്റ്റ് ഡാറ്റയിൽ വലിയ പിശകിനും കാരണമാകുന്നു.

(N പോയിന്റുകളിലൂടെ ഒരാൾക്ക് N-1 ഡിഗ്രിയുടെ ഒരൊറ്റ വക്രം വരയ്ക്കാൻ കഴിയുമെന്നത് എല്ലാവർക്കും അറിയാവുന്ന ഒരു വസ്തുതയാണ്, പൊതുവായ സാഹചര്യത്തിൽ ഈ രീതി ആവശ്യമുള്ള ഫലം നൽകുന്നില്ല. വിക്കിപീഡിയയിലെ ലഗ്രാഞ്ച് ഇന്റർപോളേഷൻ പോളിനോമിയൽ)

1. പ്രാരംഭ വിതരണം സജ്ജമാക്കുക

2. ഞങ്ങൾ പോയിന്റുകളെ 70 മുതൽ 30 വരെ അനുപാതത്തിൽ "പരിശീലനം", "നിയന്ത്രണം" എന്നിങ്ങനെ വിഭജിക്കുന്നു.

3. പരിശീലന പോയിന്റുകൾക്കൊപ്പം ഞങ്ങൾ ഏകദേശ കർവ് വരയ്ക്കുന്നു, നിയന്ത്രണ ഡാറ്റയിൽ അത് നൽകുന്ന പിശക് ഞങ്ങൾ കാണുന്നു

4. പരിശീലന പോയിന്റുകളിലൂടെ ഞങ്ങൾ ഒരു കൃത്യമായ വക്രം വരയ്ക്കുന്നു, കൂടാതെ നിയന്ത്രണ ഡാറ്റയിൽ ഒരു ഭയാനകമായ പിശക് ഞങ്ങൾ കാണുന്നു (പരിശീലന ഡാറ്റയിൽ പൂജ്യം, എന്നാൽ എന്താണ് കാര്യം?).

"പരിശീലനം", "നിയന്ത്രണം" എന്നീ ഉപസെറ്റുകളായി ഒരൊറ്റ ഡിവിഷൻ ഉള്ള ഏറ്റവും ലളിതമായ ഓപ്ഷൻ തീർച്ചയായും കാണിച്ചിരിക്കുന്നു; പൊതുവേ, ഗുണകങ്ങളുടെ മികച്ച ക്രമീകരണത്തിനായി ഇത് നിരവധി തവണ ചെയ്യുന്നു.

ആന്റിവൈറസ് ഉപയോഗിച്ച് സ്കാൻ ചെയ്ത ഫയൽ ഇവിടെ ലഭ്യമാണ്. ശരിയായ പ്രവർത്തനത്തിനായി മാക്രോകൾ പ്രവർത്തനക്ഷമമാക്കുക

3. ഗ്രേഡിയന്റ് ഡിസെൻസും പിശക് മാറ്റത്തിന്റെ ചലനാത്മകതയും

ഒരു 4-ഡൈമൻഷണൽ കേസും ലീനിയർ റിഗ്രഷനും ഉണ്ടാകും. ഗ്രേഡിയന്റ് ഡിസെന്റ് രീതി ഉപയോഗിച്ച് ലീനിയർ റിഗ്രഷൻ ഗുണകങ്ങൾ ഘട്ടം ഘട്ടമായി നിർണ്ണയിക്കപ്പെടും, തുടക്കത്തിൽ എല്ലാ ഗുണകങ്ങളും പൂജ്യമാണ്. ഗുണകങ്ങൾ കൂടുതൽ കൂടുതൽ കൃത്യമായി ക്രമീകരിച്ചിരിക്കുന്നതിനാൽ പിശക് കുറയ്ക്കുന്നതിന്റെ ചലനാത്മകത ഒരു പ്രത്യേക ഗ്രാഫ് കാണിക്കുന്നു. നാല് 2-ഡൈമൻഷണൽ പ്രൊജക്ഷനുകളും കാണാൻ കഴിയും.

നിങ്ങൾ ഗ്രേഡിയന്റ് ഡിസെന്റ് സ്റ്റെപ്പ് വളരെ വലുതായി സജ്ജീകരിക്കുകയാണെങ്കിൽ, ഓരോ തവണയും ഞങ്ങൾ മിനിമം ഒഴിവാക്കുകയും കൂടുതൽ ഘട്ടങ്ങളിലൂടെ ഫലത്തിൽ എത്തുകയും ചെയ്യുമെന്ന് നിങ്ങൾക്ക് കാണാൻ കഴിയും, എന്നിരുന്നാലും അവസാനം ഞങ്ങൾ എത്തിച്ചേരും (ഞങ്ങൾ ഇറക്കം ഘട്ടം വൈകിച്ചില്ലെങ്കിൽ. വളരെ - അപ്പോൾ അൽഗോരിതം പോകും “ സ്പേഡുകളിൽ"). ആവർത്തന ഘട്ടത്തെ ആശ്രയിച്ച് പിശകിന്റെ ഗ്രാഫ് മിനുസമാർന്നതായിരിക്കില്ല, മറിച്ച് "ജർക്കി" ആയിരിക്കും.

1. ഡാറ്റ സൃഷ്ടിക്കുക, ഗ്രേഡിയന്റ് ഡിസെന്റ് സ്റ്റെപ്പ് സജ്ജമാക്കുക

2. ഗ്രേഡിയന്റ് ഡിസെന്റ് സ്റ്റെപ്പിന്റെ ശരിയായ തിരഞ്ഞെടുപ്പ് ഉപയോഗിച്ച്, ഞങ്ങൾ സുഗമമായും വേഗത്തിലും ഏറ്റവും കുറഞ്ഞതിലെത്തും

3. ഗ്രേഡിയന്റ് ഡിസെന്റ് സ്റ്റെപ്പ് തെറ്റായി തിരഞ്ഞെടുത്തിട്ടുണ്ടെങ്കിൽ, ഞങ്ങൾ പരമാവധി ഓവർഷൂട്ട് ചെയ്യുന്നു, പിശക് ഗ്രാഫ് "ജർക്കി" ആണ്, ഒത്തുചേരൽ കൂടുതൽ ഘട്ടങ്ങൾ എടുക്കുന്നു

и

4. ഞങ്ങൾ ഗ്രേഡിയന്റ് ഡിസെന്റ് സ്റ്റെപ്പ് പൂർണ്ണമായും തെറ്റായി തിരഞ്ഞെടുത്താൽ, നമ്മൾ ഏറ്റവും കുറഞ്ഞതിൽ നിന്ന് അകന്നുപോകും

(ചിത്രങ്ങളിൽ കാണിച്ചിരിക്കുന്ന ഗ്രേഡിയന്റ് ഡിസെന്റ് സ്റ്റെപ്പ് മൂല്യങ്ങൾ ഉപയോഗിച്ച് പ്രക്രിയ പുനർനിർമ്മിക്കുന്നതിന്, "റഫറൻസ് ഡാറ്റ" ബോക്സ് പരിശോധിക്കുക).

ഫയൽ ഈ ലിങ്കിലാണ്, നിങ്ങൾ മാക്രോകൾ പ്രവർത്തനക്ഷമമാക്കേണ്ടതുണ്ട്, വൈറസുകളൊന്നുമില്ല.

ബഹുമാനപ്പെട്ട സമൂഹത്തിന്റെ അഭിപ്രായത്തിൽ, മെറ്റീരിയൽ അവതരിപ്പിക്കുന്നതിനുള്ള അത്തരമൊരു ലളിതവും രീതിയും സ്വീകാര്യമാണോ? ലേഖനം ഇംഗ്ലീഷിലേക്ക് വിവർത്തനം ചെയ്യുന്നത് മൂല്യവത്താണോ?

അവലംബം: www.habr.com