Python၊ Anaconda နှင့် အခြားတွားသွားသတ္တဝါများမပါဘဲ စက်သင်ယူခြင်း။

မဟုတ်ဘူး၊ ဟုတ်ပါတယ်၊ ငါအလေးအနက်မထားဘူး။ ဘာသာရပ်တစ်ခုကို ရိုးရှင်းအောင် လုပ်နိုင်သည့်အတိုင်းအတာအထိ ကန့်သတ်ချက်ရှိရမည်။ သို့သော် ပထမအဆင့်များတွင် အခြေခံသဘောတရားများကို နားလည်ပြီး ခေါင်းစဉ်ကို လျင်မြန်စွာ “ထည့်သွင်းခြင်း” သည် လက်ခံနိုင်ဖွယ်ရှိသည်။ ဤအရာအား မည်ကဲ့သို့မှန်ကန်စွာ အမည်ပေးရမည်ကို ကျွန်ုပ်တို့ ဆွေးနွေးပါမည် (ရွေးချယ်စရာများ- "ရုပ်ပွားတော်အတွက် စက်သင်ယူခြင်း"၊ "အနှီးများမှ ဒေတာခွဲခြမ်းစိတ်ဖြာခြင်း"၊ "ကလေးငယ်များအတွက် အယ်လဂိုရီသမ်များ")) ကို အဆုံးတွင် ဆွေးနွေးပါမည်။

ပွိုင့်။ ဒေတာများကို ခွဲခြမ်းစိတ်ဖြာသည့်အခါ မတူညီသော စက်သင်ယူမှုနည်းလမ်းများတွင် ဖြစ်ပေါ်သည့် လုပ်ငန်းစဉ်များကို မြင်ယောင်နိုင်စေရန်နှင့် အမြင်အာရုံကို ကိုယ်စားပြုရန်အတွက် MS Excel တွင် အပလီကေးရှင်းများစွာကို ရေးသားခဲ့သည်။ မြင်ခြင်းဟူသည် ယုံကြည်ခြင်းဖြစ်သည်၊ စင်စစ်အားဖြင့်၊ ဤနည်းလမ်းအများစုကို တီထွင်ဖန်တီးခဲ့သော ယဉ်ကျေးမှုကိုင်ဆောင်သူများပြောသည့်အတိုင်း (ထိုနည်းအားဖြင့်၊ ၎င်းတို့အားလုံးမဟုတ်ပေ။ အစွမ်းထက်ဆုံး “အထောက်ကူပြုစက်” သို့မဟုတ် SVM၊ အထောက်အကူပြု vector စက်သည် တီထွင်မှုဖြစ်သည်။ မော်စကို စီမံခန့်ခွဲရေးတက္ကသိုလ်မှ ကျွန်ုပ်တို့၏နိုင်ငံသား ဗလာဒီမာ ဗက်နစ်ခ်။

ပြန်လည်သုံးသပ်ရန် ဖိုင်သုံးခု

1. K - အစုအဝေးကို ဆိုလိုသည်။

ကျွန်ုပ်တို့သည် ကနဦးဒေတာအား ကြိုတင်သိရှိထားသော အမျိုးအစားအရေအတွက်တစ်ခုသို့ ပိုင်းခြားရန် လိုအပ်သောအခါတွင် ဤအမျိုးအစား၏ပြဿနာများသည် "ကြီးကြပ်မှုမရှိဘဲ သင်ယူခြင်း" ကို ရည်ညွှန်းသည်၊ သို့သော် ကျွန်ုပ်တို့တွင် "မှန်ကန်သောအဖြေများ" အရေအတွက်မရှိပါ၊ ၎င်းတို့ကို ဒေတာကိုယ်တိုင်မှ ထုတ်ယူရပါမည်။ . မျက်ဝန်းပန်းမျိုးစိတ်ခွဲများကို ရှာဖွေခြင်း၏ အခြေခံဂန္တဝင်ပြဿနာ (Ronald Fisher, 1936!)၊

နည်းလမ်းက တော်တော်ရိုးရှင်းပါတယ်။ ကျွန်ုပ်တို့တွင် vectors (N နံပါတ်များ) အဖြစ် ကိုယ်စားပြုသည့် အရာဝတ္ထုအစုံရှိသည်။ irises တွင်၊ ဤအရာများသည် ပန်းပွင့်ကိုဖော်ပြသည့် ဂဏန်း ၄ လုံးပါ- perianth ၏ အပြင်ဘက်နှင့် အတွင်းအမြှေးများ၏ အလျားနှင့် အနံ၊Fischer ၏မျက်ဝန်းများ - Wikipedia) ပုံမှန် Cartesian မက်ထရစ်ကို အကွာအဝေး သို့မဟုတ် အရာဝတ္ထုများကြားရှိ အနီးကပ်တိုင်းတာမှုအဖြစ် ရွေးချယ်သည်။

ထို့နောက်၊ အစုအဝေးဗဟိုဌာနများကို ကျပန်းရွေးချယ်သည် (သို့မဟုတ် ကျပန်းမဟုတ်၊ အောက်တွင်ကြည့်ပါ) နှင့် အရာဝတ္ထုတစ်ခုစီမှ အစုအဝေးစင်တာများသို့ အကွာအဝေးများကို တွက်ချက်ပါသည်။ ပေးထားသော ထပ်ကာထပ်ကာ အဆင့်ရှိ အရာတစ်ခုစီကို အနီးစပ်ဆုံး အလယ်ဗဟိုတွင် ပိုင်ဆိုင်ကြောင်း မှတ်သားထားသည်။ ထို့နောက် အစုလိုက်တစ်ခုစီ၏ အလယ်ဗဟိုကို ၎င်း၏အဖွဲ့ဝင်များ၏ သြဒီနိတ်များ၏ဂဏန်းသင်္ချာဆိုလိုရင်းသို့ ပြောင်းရွှေ့သည် (ရူပဗေဒနှင့် ယှဉ်တွဲကာ ၎င်းကို "ဒြပ်ထု၏ဗဟို" ဟုလည်း ခေါ်သည်)၊ လုပ်ထုံးလုပ်နည်းကို ထပ်ခါတလဲလဲ လုပ်ဆောင်သည်။

ဖြစ်စဉ်က အတော်လေးကို မြန်ဆန်ပါတယ်။ ပုံများတွင် အတိုင်းအတာ နှစ်ရပ်ဖြင့် ဤကဲ့သို့ ဖြစ်သည်-

1. လေယာဉ်ပေါ်ရှိ အမှတ်များနှင့် အစုအစည်းများ၏ အရေအတွက်ကို ကနဦး ကျပန်းခွဲဝေမှု

2. အစုအဖွဲ့များကို သတ်မှတ်ခြင်းနှင့် ၎င်းတို့၏ အစုအဝေးများသို့ အမှတ်များ သတ်မှတ်ပေးခြင်း

3. စင်တာများ တည်ငြိမ်သည်အထိ အမှတ်များ၏ ဆက်နွယ်မှုကို ပြန်လည်တွက်ချက်ခြင်း၊ အစုအဖွဲ့များ၏ သြဒီနိတ်များကို လွှဲပြောင်းခြင်း။ အစုအဖွဲ့ဗဟို၏ နောက်ဆုံး အနေအထားသို့ ရွေ့လျားနေသည့် လမ်းကြောင်းကို မြင်နိုင်သည်။

အချိန်မရွေး၊ အစုလိုက်စင်တာအသစ်များ (အမှတ်အသစ်များ ဖြန့်ဝေမှုမပြုလုပ်ဘဲ) ကို သတ်မှတ်နိုင်ပြီး ပိုင်းခြားခြင်းလုပ်ငန်းစဉ်သည် အမြဲတမ်းရှင်းလင်းပြတ်သားခြင်းမရှိကြောင်း သိမြင်နိုင်ပါသည်။ သင်္ချာနည်းအားဖြင့်၊ ဆိုလိုသည်မှာ လုပ်ဆောင်ချက်ကို ပိုမိုကောင်းမွန်အောင်ပြုလုပ်ခြင်းအတွက် (၎င်းတို့၏အစုအဝေး၏ဗဟိုများအထိ) နှစ်ထပ်ကိန်းအကွာအဝေး၏ပေါင်းလဒ်ကို ကျွန်ုပ်တို့သည် ကမ္ဘာလုံးဆိုင်ရာမဟုတ်သော်လည်း ဒေသန္တရအနိမ့်ဆုံးကို ကျွန်ုပ်တို့တွေ့ရှိရပါသည်။ ဤပြဿနာကို ကနဦးအစုအဖွဲ့စင်တာများ၏ ကျပန်းရွေးချယ်မှုမဟုတ်သော ရွေးချယ်မှုဖြင့် သို့မဟုတ် ဖြစ်နိုင်ချေရှိသော စင်တာများကို ရေတွက်ခြင်းဖြင့်သော်လည်းကောင်း ကျော်လွှားနိုင်သည် (တခါတရံတွင် ၎င်းတို့ကို အမှတ်များအနက်မှ အတိအကျ ထားရှိခြင်းသည် အကျိုးကျေးဇူးရှိပြီး အနည်းဆုံး ကျွန်ုပ်တို့သည် အလွတ်ရမည်မဟုတ်ကြောင်း အာမခံချက်ရှိပါသည်။ ပြွတ်များ)။ မည်သို့ပင်ဆိုစေကာမူ ကန့်သတ်ချက်တစ်ခုသည် အမြဲတမ်း အညံ့ဆုံးတစ်ခုဖြစ်သည်။

ဒီဖိုင်ကို ဒီလင့်ခ်မှာ ကစားနိုင်ပါတယ်။ (မက်ခရိုပံ့ပိုးမှုဖွင့်ရန် မမေ့ပါနှင့်။ ဖိုင်များကို ဗိုင်းရပ်စ်များအတွက် စကင်ဖတ်ပြီးပါပြီ)

Wikipedia တွင် ဖော်ပြချက်- k ဆိုသည်မှာ နည်းလမ်း

2. ကိန်းဂဏန်းများ နှင့် ဒေတာခွဲခြမ်းစိတ်ဖြာခြင်းဖြင့် အနီးစပ်ဆုံး။ ပြန်လည်လေ့ကျင့်ခြင်း။

ဒေတာသိပ္ပံ K.V. Vorontsov သည် စက်သင်ယူမှုနည်းလမ်းများကို "အမှတ်များမှတဆင့် မျဉ်းကွေးပုံဆွဲခြင်းပညာရပ်" အဖြစ် အတိုချုံးဖော်ပြပါသည်။ ဤဥပမာတွင်၊ အနည်းဆုံး စတုရန်းပုံနည်းလမ်းကို အသုံးပြု၍ ဒေတာတွင် ပုံစံတစ်ခုကို ကျွန်ုပ်တို့ တွေ့ရှိပါမည်။

အရင်းအမြစ်ဒေတာကို "လေ့ကျင့်ရေး" နှင့် "ထိန်းချုပ်မှု" အဖြစ် ပိုင်းခြားခြင်းနည်းပညာကို ပြသထားပြီး၊ ပြန်လည်လေ့ကျင့်ခြင်း သို့မဟုတ် ဒေတာကို "ပြန်လည်ချိန်ညှိခြင်း" ကဲ့သို့သော ဖြစ်စဉ်တစ်ခုအဖြစ် ပြသထားသည်။ မှန်ကန်သော ခန့်မှန်းခြေဖြင့်၊ ကျွန်ုပ်တို့သည် လေ့ကျင့်ရေးဒေတာနှင့် ထိန်းချုပ်မှုဒေတာတွင် အနည်းငယ်ပိုကြီးသော အမှားအယွင်းတစ်ခုရှိပါမည်။ မမှန်ပါက၊ ၎င်းသည် လေ့ကျင့်ရေးဒေတာအတွက် တိကျသော ချိန်ညှိမှု နှင့် စစ်ဆေးမှုဒေတာတွင် ကြီးမားသော အမှားအယွင်းတစ်ခု ဖြစ်ပေါ်စေပါသည်။

(N အမှတ်များမှတဆင့် N-1th ဒီဂရီ၏ မျဉ်းကွေးတစ်ခုတည်းကို ဆွဲယူနိုင်ပြီး ယေဘုယျကိစ္စတွင် ဤနည်းလမ်းသည် လိုချင်သောရလဒ်ကို မပေးကြောင်း လူသိများသောအချက်ဖြစ်ပါသည်။ Wikipedia ရှိ Lagrange interpolation polynomial)

1. ကနဦးဖြန့်ဖြူးမှုကို သတ်မှတ်ပါ။

2. ကျွန်ုပ်တို့သည် အမှတ်များကို 70 မှ 30 အချိုးဖြင့် "လေ့ကျင့်ရေး" နှင့် "ထိန်းချုပ်မှု" အဖြစ် ပိုင်းခြားထားသည်။

3. ကျွန်ုပ်တို့သည် လေ့ကျင့်ရေးအမှတ်များတစ်လျှောက် အနီးစပ်ဆုံးမျဉ်းကွေးကိုဆွဲကာ ထိန်းချုပ်မှုဒေတာတွင် ပေးသော အမှားကို ကျွန်ုပ်တို့တွေ့မြင်ရပါသည်။

4. ကျွန်ုပ်တို့သည် လေ့ကျင့်ရေးအမှတ်များမှတဆင့် အတိအကျမျဉ်းကွေးတစ်ခုဆွဲပြီး ထိန်းချုပ်မှုဒေတာတွင် ကြီးမားသောအမှားအယွင်းတစ်ခုတွေ့မြင်ရသည် (လေ့ကျင့်ရေးဒေတာတွင် သုညဖြစ်သော်လည်း မည်သည့်အချက်မှာလဲ။)

သေချာသည်မှာ၊ ပြထားသည်မှာ "လေ့ကျင့်ရေး" နှင့် "ထိန်းချုပ်မှု" အခွဲများသို့ တစ်ခုတည်း ပိုင်းခြားခြင်းဖြင့် အရိုးရှင်းဆုံးရွေးချယ်မှုဖြစ်သည်၊ ယေဘုယျအခြေအနေတွင်၊ ၎င်းကို coefficients ၏အကောင်းဆုံးချိန်ညှိမှုအတွက် အကြိမ်များစွာပြုလုပ်သည်။

Antivirus ဖြင့် စကင်န်ဖတ်ထားသော ဖိုင်ကို ဤနေရာတွင် ရနိုင်ပါသည်။ မှန်ကန်သောလုပ်ဆောင်ချက်အတွက် မက်ခရိုကိုဖွင့်ပါ။

3. Gradient ဆင်းသက်မှုနှင့် အမှားအယွင်းပြောင်းလဲမှု၏ ဒိုင်းနမစ်များ

4-dimensional case နှင့် linear regression ရှိပါမည်။ Linear regression coefficients သည် gradient descent method ကို အသုံးပြု၍ တစ်ဆင့်ပြီးတစ်ဆင့် ဆုံးဖြတ်မည်ဖြစ်ပြီး၊ အစပိုင်းတွင် coefficients အားလုံးသည် သုညဖြစ်သည်။ Coefficients များကို ပိုမိုတိကျစွာ ချိန်ညှိထားသောကြောင့် သီးခြားဂရပ်တစ်ခုသည် အမှားအယွင်းလျှော့ချခြင်း၏ ဒိုင်းနမစ်များကို ပြသသည်။ ၂ ဖက်မြင် ပရောဂျက် လေးခုလုံးကို ကြည့်ရှုနိုင်သည်။

gradient ဆင်းခြင်းအဆင့်ကို ကြီးလွန်းသည်ဟု သတ်မှတ်ပါက၊ ကျွန်ုပ်တို့သည် အနိမ့်ဆုံးကို ကျော်သွားသည့်အခါတိုင်းတွင် ရလဒ်သည် ပိုကြီးသောခြေလှမ်းများဖြင့် ရောက်ရှိလာမည်ဖြစ်သော်လည်း၊ အဆုံးတွင် ကျွန်ုပ်တို့ရောက်ရှိနေဆဲဖြစ်သည် (သို့သော် ဆင်းသက်သည့်ခြေလှမ်းကို နှောင့်နှေးခြင်းမရှိပါက၊ အများကြီး - ထို့နောက် algorithm သည် "in spades" ) သွားလိမ့်မည်။ ထပ်ခါထပ်ခါလုပ်သည့်အဆင့်ပေါ်မူတည်၍ အမှား၏ဂရပ်သည် ချောမွေ့မည်မဟုတ်သော်လည်း "ယိမ်းယိုင်"။

1. ဒေတာထုတ်လုပ်ပါ၊ gradient ဆင်းသက်သည့်အဆင့်ကို သတ်မှတ်ပါ။

2. gradient ဆင်းသက်ခြင်းအဆင့်၏ မှန်ကန်သောရွေးချယ်မှုဖြင့်၊ ကျွန်ုပ်တို့သည် အနိမ့်ဆုံးကို ချောချောမွေ့မွေ့နှင့် လျင်မြန်စွာရောက်ရှိသွားပါသည်။

3. gradient ဆင်းသက်သည့်အဆင့်ကို မှားယွင်းစွာရွေးချယ်ပါက၊ ကျွန်ုပ်တို့သည် အမြင့်ဆုံးကို ကျော်သွားသည်၊ အမှားဂရပ်သည် "လှုပ်လှုပ်ရွရွ" ဖြစ်နေသည်၊ ပေါင်းစည်းခြင်းသည် ခြေလှမ်းအရေအတွက် ပိုများသည်

и

4. ကျွန်ုပ်တို့သည် gradient ဆင်းသက်ခြင်း အဆင့်ကို လုံးလုံး မှားယွင်းစွာ ရွေးချယ်ပါက၊ ကျွန်ုပ်တို့သည် အနိမ့်ဆုံးမှ ဝေးကွာသွားပါမည်။

(ပုံများတွင်ပြသထားသည့် gradient ဆင်းသက်သည့်အဆင့်တန်ဖိုးများကို အသုံးပြု၍ လုပ်ငန်းစဉ်ကို ပြန်လည်ထုတ်လုပ်ရန်၊ "ကိုးကားချက်ဒေတာ" အကွက်ကို စစ်ဆေးပါ။)

ဖိုင်သည် ဤလင့်ခ်တွင် ရှိနေသည်၊ သင်သည် မက်ခရိုကို ဖွင့်ရန် လိုအပ်သည်၊ ဗိုင်းရပ်စ်များ မရှိပါ။

လေးစားထိုက်သောအသိုင်းအဝန်းအရ၊ ဤကဲ့သို့သောရိုးရှင်းမှုနှင့် အကြောင်းအရာကိုတင်ပြခြင်းနည်းလမ်းက လက်ခံနိုင်ပါသလား။ ဆောင်းပါးကို အင်္ဂလိပ်လို ဘာသာပြန်ဖို့ ထိုက်တန်ပါသလား။

source: www.habr.com