Mail.ru Mail တွင် စက်သင်ယူမှု လုပ်ဆောင်ခြင်း။

Highload++ နှင့် DataFest Minsk 2019 တွင် ကျွန်ုပ်၏မိန့်ခွန်းများအပေါ် အခြေခံထားသည်။

ယနေ့ခေတ် လူများစွာအတွက် မေးလ်သည် အွန်လိုင်းဘဝ၏ အရေးပါသော အစိတ်အပိုင်းတစ်ခုဖြစ်သည်။ ၎င်း၏အကူအညီဖြင့် ကျွန်ုပ်တို့သည် စီးပွားရေးဆိုင်ရာစာပေးစာယူကို လုပ်ဆောင်သည်၊ ငွေကြေးဆိုင်ရာ၊ ဟိုတယ်ဘွတ်ကင်များ၊ အော်ဒါမှာယူမှုများနှင့် အခြားအရာများနှင့် သက်ဆိုင်သည့် အရေးကြီးသော အချက်အလက်အားလုံးကို သိမ်းဆည်းပါသည်။ 2018 နှစ်လယ်တွင်၊ ကျွန်ုပ်တို့သည် စာတိုက်ဖွံ့ဖြိုးတိုးတက်မှုအတွက် ထုတ်ကုန်ဗျူဟာတစ်ခုကို ရေးဆွဲခဲ့ပါသည်။ ခေတ်မီမေးလ်က ဘယ်လိုမျိုးဖြစ်သင့်လဲ။

မေးလ်ဖြစ်ရမည်။ စမတ်ဆိုလိုသည်မှာ သုံးစွဲသူများသည် တိုးလာနေသော အချက်အလက်များ၏ ပမာဏကို လမ်းကြောင်းရှာရန် ကူညီပေးသည်- စစ်ထုတ်ခြင်း၊ ဖွဲ့စည်းတည်ဆောက်ခြင်းနှင့် ၎င်းကို အဆင်ပြေဆုံးနည်းလမ်းဖြင့် ပံ့ပိုးပေးခြင်း။ သူမဖြစ်ရမည်။ အသုံးဝင်သည်။ဥပမာအားဖြင့် သင့်စာတိုက်ပုံးတွင် အလုပ်အမျိုးမျိုးကို ဖြေရှင်းနိုင်စေခြင်းဖြင့် ဒဏ်ကြေးပေးဆောင်ခြင်း (ကံမကောင်းစွာဖြင့်၊ ကျွန်ုပ်အသုံးပြုသော လုပ်ဆောင်ချက်တစ်ခု)။ တစ်ချိန်တည်းမှာပင်၊ မေးလ်သည် အချက်အလက်ကာကွယ်ရေး၊ spam များကိုဖြတ်တောက်ပြီး ဟက်ကာမှကာကွယ်ပေးရမည်၊ ဆိုလိုသည်မှာ၊ အန္တရာယ်ကင်း.

ဤနယ်ပယ်များတွင် အဓိကပြဿနာများစွာကို အဓိပ္ပါယ်ဖွင့်ဆိုထားပြီး အများစုမှာ စက်သင်ယူမှုကို အသုံးပြု၍ ထိထိရောက်ရောက်ဖြေရှင်းနိုင်သည်။ ဤသည်မှာ နည်းဗျူဟာ၏ တစ်စိတ်တစ်ပိုင်းအဖြစ် တီထွင်ထားပြီးဖြစ်သည့် အင်္ဂါရပ်များ ဥပမာများ - ဦးတည်ချက်တစ်ခုစီအတွက် တစ်ခု။

• စမတ်စာပြန်ရန်. မေးလ်တွင် စမတ်ကျသော စာပြန်ခြင်းအင်္ဂါရပ် ရှိသည်။ အာရုံကြောကွန်ရက်သည် စာ၏စာသားကို ပိုင်းခြားစိတ်ဖြာကာ ၎င်း၏အဓိပ္ပာယ်နှင့် ရည်ရွယ်ချက်ကို နားလည်ကာ ရလဒ်အနေဖြင့် အသင့်လျော်ဆုံး တုံ့ပြန်မှုရွေးချယ်စရာသုံးခု- အပြုသဘော၊ အနုတ်လက္ခဏာနှင့် ကြားနေကို ပေးဆောင်သည်။ ၎င်းသည် စာများဖြေဆိုရာတွင် အချိန်ကို သိသိသာသာ သက်သာစေပြီး ပုံမှန်မဟုတ်သော ရယ်စရာကောင်းသော နည်းလမ်းဖြင့်လည်း တုံ့ပြန်လေ့ရှိသည်။
• အီးမေးလ်များကို အုပ်စုဖွဲ့ခြင်း။အွန်လိုင်းစတိုးများတွင်အမှာစာများနှင့်ဆက်စပ်။ ကျွန်ုပ်တို့သည် အွန်လိုင်းတွင် စျေးဝယ်လေ့ရှိပြီး စည်းကမ်းအတိုင်း၊ စတိုးဆိုင်များသည် မှာယူမှုတစ်ခုစီအတွက် အီးမေးလ်များစွာ ပေးပို့နိုင်ပါသည်။ ဥပမာအားဖြင့်၊ အကြီးဆုံးဝန်ဆောင်မှုဖြစ်သော AliExpress မှ စာလုံးအများအပြားသည် အမှာစာတစ်ခုအတွက် ရောက်ရှိလာပြီး terminal တွင် ၎င်းတို့၏နံပါတ်သည် 29 အထိရောက်ရှိနိုင်ကြောင်း ကျွန်ုပ်တို့တွက်ချက်ခဲ့သည်။ ထို့ကြောင့်၊ အမည်ပေးထားသော Entity Recognition မော်ဒယ်ကို အသုံးပြု၍ အမှာစာနံပါတ်ကို ထုတ်ယူပါသည်။ နှင့် စာသားများမှ အခြားအချက်အလက်များနှင့် စာလုံးအားလုံးကို စာတွဲတစ်ခုတွင် အုပ်စုဖွဲ့ပါ။ ကျွန်ုပ်တို့သည် သီးခြားအကွက်တစ်ခုတွင် မှာယူမှုနှင့်ပတ်သက်သည့် အခြေခံအချက်အလက်များကိုလည်း ပြသပေးသောကြောင့် ဤအီးမေးလ်အမျိုးအစားနှင့် လုပ်ဆောင်ရလွယ်ကူစေသည်။

  

• ဆန့်ကျင်ဖြားယောင်းခြင်း။. Phishing သည် အထူးသဖြင့် အန္တရာယ်ရှိသော လိမ်လည်လှည့်ဖြားသည့် အီးမေးလ်အမျိုးအစားဖြစ်ပြီး၊ တိုက်ခိုက်သူများသည် ငွေကြေးအချက်အလက်များ (အသုံးပြုသူ၏ဘဏ်ကတ်များအပါအဝင်) နှင့် အကောင့်ဝင်ခြင်းများကို ရယူရန် ကြိုးစားသည့် ငွေကြေးအချက်အလက်များကို ရယူရန် ကြိုးစားသည့်အကူအညီဖြင့် အထူးအန္တရာယ်ရှိသည်။ အမြင်အာရုံ အပါအဝင် ဝန်ဆောင်မှုမှ ပေးပို့သော စာသားအစစ်များကို အတုယူပါ။ ထို့ကြောင့်၊ Computer Vision ၏အကူအညီဖြင့်၊ ကျွန်ုပ်တို့သည် ကုမ္ပဏီကြီးများ၏ လိုဂိုများနှင့် စာလုံးဒီဇိုင်းပုံစံကို အသိအမှတ်ပြုပြီး ၎င်းကို ကျွန်ုပ်တို့၏ spam နှင့် phishing အမျိုးအစားခွဲများတွင် စာသားနှင့် အခြားအင်္ဂါရပ်များနှင့်အတူ ထည့်သွင်းစဉ်းစားပါ။ .

စက်သင်ယူမှု

ယေဘူယျအားဖြင့် အီးမေးလ်တွင် machine learning အကြောင်း အနည်းငယ်။ Mail သည် အလွန် loaded စနစ်တစ်ခုဖြစ်သည်- တစ်နေ့လျှင် ပျမ်းမျှအက္ခရာ 1,5 ဘီလီယံသည် DAU အသုံးပြုသူ သန်း 30 အတွက် ကျွန်ုပ်တို့၏ဆာဗာများမှတဆင့် ဖြတ်သန်းသွားပါသည်။ စက်သင်ယူမှုစနစ် 30 ခန့်သည် လိုအပ်သောလုပ်ဆောင်ချက်များနှင့် လုပ်ဆောင်ချက်များကို ပံ့ပိုးပေးသည်။

စာလုံးတစ်လုံးစီသည် အမျိုးအစားခွဲခြားမှု ပိုက်လိုင်းတစ်ခုလုံးကို ဖြတ်သန်းသွားပါသည်။ ပထမဦးစွာ ကျွန်ုပ်တို့သည် spam များကိုဖြတ်ပြီး အီးမေးလ်ကောင်းများကို ထားခဲ့ပါ။ အသုံးပြုသူများသည် မကြာခဏဆိုသလို antispam ၏လုပ်ဆောင်မှုကို သတိမထားမိကြဘဲ၊ အဘယ်ကြောင့်ဆိုသော် spam များ၏ 95-99% သည် သင့်လျော်သော folder တွင်ပင် မကုန်ဆုံးနိုင်သောကြောင့်ဖြစ်သည်။ Spam အသိအမှတ်ပြုခြင်းသည် ကျွန်ုပ်တို့၏စနစ်၏ အလွန်အရေးကြီးသော အစိတ်အပိုင်းဖြစ်ပြီး၊ စပမ်းဆန့်ကျင်ရေးနယ်ပယ်တွင် ကျွန်ုပ်တို့အဖွဲ့အတွက် စဉ်ဆက်မပြတ် အင်ဂျင်နီယာစိန်ခေါ်မှုကို ပံ့ပိုးပေးသည့် ကာကွယ်ရေးနှင့် တိုက်ခိုက်ရေးစနစ်များကြားတွင် အဆက်မပြတ် လိုက်လျောညီထွေရှိသောကြောင့် အခက်ခဲဆုံးဖြစ်သည်။

ထို့နောက် ကျွန်ုပ်တို့သည် လူများနှင့် စက်ရုပ်များနှင့် စာများကို ခွဲခြားထားသည်။ လူများထံမှအီးမေးလ်များသည် အရေးကြီးဆုံးဖြစ်သောကြောင့် ကျွန်ုပ်တို့သည် ၎င်းတို့အတွက် Smart Reply ကဲ့သို့သော အင်္ဂါရပ်များကို ပေးဆောင်ပါသည်။ စက်ရုပ်များမှ ပေးစာများကို အပိုင်းနှစ်ပိုင်း ခွဲခြားထားသည်- အရောင်းအ၀ယ်ပြုလုပ်ခြင်း - ၎င်းတို့သည် ဝန်ဆောင်မှုများမှ အရေးကြီးသောစာများ ဥပမာအားဖြင့်၊ ဝယ်ယူမှုများ သို့မဟုတ် ဟိုတယ်ကြိုတင်မှာယူမှုများ၏ အတည်ပြုချက်များ၊ ငွေကြေးနှင့် အချက်အလက်ဆိုင်ရာ - ၎င်းတို့သည် လုပ်ငန်းကြော်ငြာများ၊ လျှော့စျေးများဖြစ်သည်။

အရောင်းအ၀ယ်အီးမေးလ်များသည် ကိုယ်ရေးကိုယ်တာစာပေးစာယူအတွက် အရေးကြီးသည်ဟု ကျွန်ုပ်တို့ယုံကြည်ပါသည်။ အမှာစာ သို့မဟုတ် လေယာဉ်လက်မှတ်ကြိုတင်မှာယူမှုဆိုင်ရာ အချက်အလက်များကို မကြာခဏရှာဖွေရန် လိုအပ်သောကြောင့် ၎င်းတို့သည် လက်ထဲတွင် ရှိနေသင့်ပြီး ဤစာများကို ရှာဖွေရာတွင် အချိန်ဖြုန်းနေပါသည်။ ထို့ကြောင့် အဆင်ပြေစေရန်အတွက် ၎င်းတို့ကို အဓိက အမျိုးအစား ခြောက်မျိုးဖြင့် အလိုအလျောက် ပိုင်းခြားသည်- ခရီးသွားခြင်း၊ အော်ဒါများ၊ ငွေကြေး၊ လက်မှတ်များ၊ မှတ်ပုံတင်ခြင်းနှင့် နောက်ဆုံးတွင် ဒဏ်ကြေးများ။

သတင်းအချက်အလက် ပေးစာများသည် ချက်ခြင်းတုံ့ပြန်ရန် မလိုအပ်သည့် အကြီးမားဆုံးနှင့် အရေးပါသော အုပ်စုဖြစ်ပြီး၊ ထိုကဲ့သို့သော စာကို မဖတ်ပါက အသုံးပြုသူ၏ ဘဝတွင် ထူးထူးခြားခြား ဘာမှမပြောင်းလဲနိုင်သောကြောင့် ဖြစ်သည်။ ကျွန်ုပ်တို့၏အင်တာဖေ့စ်အသစ်တွင်၊ ၎င်းတို့ကို လူမှုကွန်ရက်များနှင့် သတင်းလွှာများအဖြစ် အပိုင်းနှစ်ခုအဖြစ် ခွဲထားသောကြောင့် ဝင်စာပုံးကို အမြင်အာရုံရှင်းလင်းပြီး အရေးကြီးသောမက်ဆေ့ချ်များကိုသာ မြင်နိုင်စေသည်။

အသုံးပြုခြင်း

များစွာသော စနစ်များသည် လည်ပတ်ရာတွင် အခက်အခဲများစွာ ဖြစ်စေသည်။ နောက်ဆုံးတွင်၊ မော်ဒယ်များသည် မည်သည့်ဆော့ဖ်ဝဲလ်ကဲ့သို့ အချိန်ကြာလာသည်နှင့်အမျှ ဆုတ်ယုတ်သွားသည်- အင်္ဂါရပ်များ ပျက်သွားသည်၊ စက်များပျက်သွားသည်၊ ကုဒ်သည် တရွေ့ရွေ့ဖြစ်လာသည်။ ထို့အပြင်၊ ဒေတာသည် အဆက်မပြတ်ပြောင်းလဲနေပါသည်- အသစ်များကိုထည့်သွင်းထားသည်၊ အသုံးပြုသူအမူအကျင့်ပုံစံများ ပြောင်းလဲလာသည်၊ စသည်တို့ကြောင့်၊ သင့်လျော်သောပံ့ပိုးမှုမရှိဘဲ မော်ဒယ်သည် အချိန်ကြာလာသည်နှင့်အမျှ ပိုဆိုးလာပြီး ပိုဆိုးလာမည်ဖြစ်သည်။

ပိုမိုနက်ရှိုင်းသော စက်သင်ယူမှုသည် သုံးစွဲသူများ၏ဘဝထဲသို့ ထိုးဖောက်ဝင်ရောက်လာကာ ဂေဟစနစ်အပေါ် သက်ရောက်မှုများ ကြီးမားလေဖြစ်ပြီး ရလဒ်အနေဖြင့်၊ ငွေကြေးဆုံးရှုံးမှု သို့မဟုတ် အမြတ်အစွန်းများကို စျေးကွက်ကစားသမားများ ပိုမိုရရှိနိုင်သည်ကို ကျွန်ုပ်တို့ မမေ့သင့်ပါ။ ထို့ကြောင့်၊ များပြားလာသောနယ်ပယ်များတွင် ကစားသမားများသည် ML algorithms ၏အလုပ်နှင့် လိုက်လျောညီထွေဖြစ်စေသည် (ဂန္တဝင်ဥပမာများမှာ ကြော်ငြာ၊ ရှာဖွေမှုနှင့် ဖော်ပြပြီးသား antispam)။

ထို့အပြင်၊ စက်သင်ယူခြင်းလုပ်ငန်းများတွင် ထူးခြားချက်တစ်ခုရှိသည်- စနစ်အတွင်းရှိ အသေးအဖွဲမျှပင် အပြောင်းအလဲများသည် မော်ဒယ်နှင့် အလုပ်များစွာကို ထုတ်ပေးနိုင်သည်- ဒေတာဖြင့် လုပ်ဆောင်ခြင်း၊ ပြန်လည်လေ့ကျင့်ခြင်း၊ အသုံးချခြင်း၊ သီတင်းပတ်များ သို့မဟုတ် လပေါင်းများစွာ ကြာနိုင်သည်။ ထို့ကြောင့်၊ သင့်မော်ဒယ်များ ပြောင်းလဲလုပ်ဆောင်သည့် ပတ်ဝန်းကျင်ကို မြန်ဆန်လေ၊ ၎င်းတို့ကို ထိန်းသိမ်းရန် ပိုမိုအားစိုက်ထုတ်ရန် လိုအပ်ပါသည်။ အဖွဲ့တစ်ဖွဲ့သည် စနစ်များစွာကို ဖန်တီးနိုင်ပြီး ၎င်းနှင့်ပတ်သက်၍ ပျော်ရွှင်နိုင်သော်လည်း အသစ်လုပ်ရန်အခွင့်အရေးမရှိဘဲ ၎င်းတို့အား ထိန်းသိမ်းထားရန် ၎င်း၏အရင်းအမြစ်အားလုံးနီးပါးကို အသုံးပြုပါ။ Antispam အဖွဲ့တွင် ထိုသို့သောအခြေအနေမျိုး တစ်ကြိမ်ကြုံဖူးသည်။ ပံ့ပိုးကူညီမှုကို အလိုအလျောက်လုပ်ဆောင်ရန် လိုအပ်ကြောင်း သိသာထင်ရှားသော ကောက်ချက်ချခဲ့ကြသည်။

အလိုအလျောက်

ဘယ်အရာက အလိုအလျောက်ဖြစ်နိုင်မလဲ။ တကယ်တော့ အရာအားလုံးနီးပါးပါပဲ။ စက်သင်ယူမှုအခြေခံအဆောက်အအုံကို သတ်မှတ်သည့် နယ်ပယ်လေးခုကို ကျွန်ုပ်ရှာဖွေတွေ့ရှိခဲ့သည်-

• ဒေတာစုဆောင်းခြင်း;
• အပိုဆောင်းလေ့ကျင့်ရေး;
• ဖြန့်ကျက်;
• စမ်းသပ်ခြင်းနှင့် စောင့်ကြည့်ခြင်း။

ပတ်ဝန်းကျင်သည် မတည်မငြိမ်ဖြစ်ပြီး အဆက်မပြတ်ပြောင်းလဲနေပါက၊ မော်ဒယ်ပတ်လည်ရှိ အခြေခံအဆောက်အအုံတစ်ခုလုံးသည် မော်ဒယ်ကိုယ်တိုင်ထက် များစွာပိုအရေးကြီးပါသည်။ ၎င်းသည် ကောင်းမွန်သော လိုင်းယာအမျိုးအစားခွဲစက်ဟောင်းတစ်ခုဖြစ်နိုင်သော်လည်း ၎င်းအား မှန်ကန်သောအင်္ဂါရပ်များကို ကျွေးမွေးပြီး သုံးစွဲသူများထံမှ ကောင်းမွန်သောတုံ့ပြန်ချက်ရယူပါက၊ ၎င်းသည် ခေါင်းလောင်းသံများနှင့် ဝီစီများပါရှိသော State-Of-The-Art မော်ဒယ်များထက် များစွာသာလွန်ကောင်းမွန်ပါသည်။

တုံ့ပြန်ချက် ကွင်းဆက်

ဤစက်ဝန်းသည် ဒေတာစုဆောင်းခြင်း၊ ထပ်လောင်းလေ့ကျင့်မှုနှင့် အသုံးချခြင်းတို့ကို ပေါင်းစပ်ထားသည် - အမှန်မှာ၊ မော်ဒယ်မွမ်းမံမှု စက်ဝန်းတစ်ခုလုံး။ အဘယ်ကြောင့် အရေးကြီးသနည်း။ မေးလ်တွင် စာရင်းသွင်းရမည့်အချိန်ဇယားကို ကြည့်ပါ။

စက်သင်ယူမှု ဆော့ဖ်ဝဲရေးသားသူသည် ဘော့တ်များကို အီးမေးလ်တွင် စာရင်းသွင်းခြင်းကို တားဆီးသည့် ဆန့်ကျင်ဘော့တ်ပုံစံကို အကောင်အထည်ဖော်ခဲ့သည်။ ဂရပ်သည် တကယ့်အသုံးပြုသူများသာ ကျန်ရှိနေသည့် တန်ဖိုးတစ်ခုသို့ ကျဆင်းသွားသည်။ အားလုံးကောင်းတယ်။ သို့သော် လေးနာရီကြာပြီးနောက်၊ ဘော့တ်များသည် ၎င်းတို့၏ script များကို ပြင်ဆင်ပြီး အရာအားလုံး ပုံမှန်ပြန်ဖြစ်သွားသည်။ ဤအကောင်အထည်ဖော်မှုတွင်၊ ဆော့ဖ်ဝဲအင်ဂျင်နီယာသည် အင်္ဂါရပ်များထည့်သွင်းခြင်းနှင့် မော်ဒယ်ကို ပြန်လည်လေ့ကျင့်ရန် တစ်လကြာအသုံးပြုခဲ့သော်လည်း spammer သည် လေးနာရီအတွင်း လိုက်လျောညီထွေဖြစ်အောင် လုပ်ဆောင်နိုင်ခဲ့သည်။

အရမ်းကြီး နာကျင်လွန်းပြီး နောက်ပိုင်းမှာ အရာအားလုံးကို ပြန်လုပ်စရာ မလိုအောင်၊ တုံ့ပြန်ချက်ကွင်းဆက်က ဘယ်လိုပုံစံနဲ့ ပတ်ဝန်းကျင်ကို ပြောင်းလဲသွားမလဲဆိုတာကို အရင်ဆုံး စဉ်းစားရပါမယ်။ ဒေတာစုဆောင်းခြင်းဖြင့် စတင်ကြပါစို့ - ၎င်းသည် ကျွန်ုပ်တို့၏ အယ်လဂိုရီသမ်များအတွက် လောင်စာဖြစ်သည်။

ဒေတာစုဆောင်းခြင်း။

ခေတ်မီအာရုံကြောကွန်ရက်များအတွက် ဒေတာများလေလေ၊ ပိုကောင်းလေဖြစ်ပြီး ၎င်းတို့သည် အမှန်တကယ်အားဖြင့် ထုတ်ကုန်၏အသုံးပြုသူများမှ ထုတ်ပေးသည်မှာ ရှင်းပါသည်။ အသုံးပြုသူများသည် ဒေတာကို အမှတ်အသားပြုခြင်းဖြင့် ကျွန်ုပ်တို့ကို ကူညီနိုင်သော်လည်း ၎င်းကို ကျွန်ုပ်တို့ အလွဲသုံးစားလုပ်၍မရပါ၊ အဘယ်ကြောင့်ဆိုသော် တစ်ချိန်ချိန်တွင် သုံးစွဲသူများသည် သင့်မော်ဒယ်များကို ပြီးမြောက်ရန် ငြီးငွေ့လာကာ အခြားထုတ်ကုန်သို့ ပြောင်းသွားမည်ဖြစ်သည်။

အဖြစ်များဆုံး အမှားများထဲမှ တစ်ခု (ဒီနေရာမှာ ကျွန်တော် Andrew Ng ကို ကိုးကားဖော်ပြထားသည်) သည် စမ်းသပ်ဒေတာအတွဲအပေါ် မက်ထရစ်များကို အလွန်အကျွံ အာရုံစိုက်ပြီး အသုံးပြုသူထံမှ တုံ့ပြန်ချက်အပေါ် မဟုတ်ဘဲ၊ ကျွန်ုပ်တို့ ဖန်တီးထားသောကြောင့် အမှန်တကယ် အလုပ်၏ အရည်အသွေးကို အဓိက တိုင်းတာခြင်းဖြစ်သည်။ သုံးစွဲသူအတွက် ထုတ်ကုန်တစ်ခု။ အသုံးပြုသူသည် မော်ဒယ်၏အလုပ်ကို နားမလည်ပါက သို့မဟုတ် မကြိုက်ပါက အရာအားလုံး ပျက်စီးသွားမည်ဖြစ်သည်။

ထို့ကြောင့်၊ သုံးစွဲသူသည် အမြဲတမ်း မဲပေးနိုင်သင့်ပြီး တုံ့ပြန်ချက်အတွက် ကိရိယာတစ်ခု ပေးသင့်သည်။ ငွေရေးကြေးရေးနှင့်ဆိုင်သော စာတိုက်ပုံးထဲသို့ ရောက်လာသည်ဟု ကျွန်ုပ်တို့ထင်ပါက၊ ကျွန်ုပ်တို့သည် ၎င်းကို “ဘဏ္ဍာရေး” ဟု အမှတ်အသားပြုပြီး သုံးစွဲသူက ကလစ်နှိပ်၍ ဤအရာသည် ငွေကြေးမဟုတ်ကြောင်း ပြောနိုင်သော ခလုတ်တစ်ခုကို ဆွဲရပါမည်။

တုံ့ပြန်မှုအရည်အသွေး

အသုံးပြုသူ တုံ့ပြန်ချက်၏ အရည်အသွေးအကြောင်း ပြောကြပါစို့။ ပထမဦးစွာ သင်နှင့်အသုံးပြုသူများသည် မတူညီသော အဓိပ္ပါယ်များကို အယူအဆတစ်ခုတွင် ထည့်သွင်းနိုင်သည်။ ဥပမာအားဖြင့်၊ သင်နှင့် သင့်ထုတ်ကုန်မန်နေဂျာများသည် "ဘဏ္ဍာရေး" သည် ဘဏ်မှစာများကို ဆိုလိုသည်ဟု ထင်ကြပြီး၊ အသုံးပြုသူက သူမ၏ပင်စင်နှင့်ပတ်သက်သော အဖွားထံမှစာတစ်စောင်သည် ဘဏ္ဍာရေးဆိုင်ရာကိုလည်း ရည်ညွှန်းသည်ဟု ထင်ပါသည်။ ဒုတိယအနေဖြင့်၊ မည်သည့်ယုတ္တိမရှိဘဲ ခလုတ်များကို သတိမဲ့စွာ နှိပ်လိုသော အသုံးပြုသူများ ရှိပါသည်။ တတိယအနေဖြင့်၊ အသုံးပြုသူသည် သူ၏ကောက်ချက်၌ နက်နက်ရှိုင်းရှိုင်း မှားယွင်းသွားနိုင်သည်။ ကျွန်ုပ်တို့၏ အလေ့အကျင့်မှ ထင်ရှားသော ဥပမာတစ်ခုသည် အမျိုးအစားခွဲခြားမှုကို အကောင်အထည်ဖော်ခြင်းဖြစ်သည်။ နိုင်ဂျီးရီးယား ပင်ပမ်းအသုံးပြုသူသည် အာဖရိကရှိ ရုတ်တရက်တွေ့ရှိသော ဆွေမျိုးတစ်ဦးထံမှ ဒေါ်လာသန်းပေါင်းများစွာကို ယူခိုင်းသည့် အလွန်ရယ်စရာကောင်းသော spam အမျိုးအစားဖြစ်သည်။ ဤအမျိုးအစားခွဲခြားမှုကို အကောင်အထည်ဖော်ပြီးနောက်၊ ဤအီးမေးလ်များပေါ်ရှိ “စပမ်မဟုတ်ပါ” ကလစ်များကို စစ်ဆေးခဲ့ရာ 80% သည် အရည်ရွှမ်းသော နိုင်ဂျီးရီးယားစပမ်းများဖြစ်ကြပြီး သုံးစွဲသူများသည် အလွန်အယုံလွယ်နိုင်သည်ဟု အကြံပြုထားသည်။

ထို့အပြင် ခလုတ်များကို လူများသာမက browser တစ်ခုအဖြစ် ဟန်ဆောင်သည့် bot အမျိုးအစားပေါင်းစုံမှလည်း ခလုတ်များကို နှိပ်နိုင်သည်ကို မမေ့ပါနှင့်။ ထို့ကြောင့် အကြမ်းဖျင်း အကြံပြုချက်သည် သင်ယူရန်အတွက် မကောင်းပါ။ ဒီအချက်အလက်နဲ့ သင် ဘာလုပ်နိုင်မလဲ။

ကျွန်ုပ်တို့သည် နည်းလမ်းနှစ်ခုကို အသုံးပြုသည်-

• လင့်ခ်ချိတ်ထားသော ML မှ တုံ့ပြန်ချက်. ဥပမာအားဖြင့်၊ ကျွန်ုပ်တွင်ဖော်ပြထားသည့်အတိုင်း၊ ကန့်သတ်နံပါတ်များကိုအခြေခံ၍ အမြန်ဆုံးဖြတ်ချက်ချနိုင်သော အွန်လိုင်းဆန့်ကျင်ဘော့စနစ်တစ်ခုရှိသည်။ တကယ်တော့ ဒုတိယ၊ နှေးကွေးတဲ့ စနစ်တစ်ခု ရှိပါတယ်။ ၎င်းတွင် အသုံးပြုသူ၊ သူ၏ အပြုအမူ၊ စသည်တို့နှင့် ပတ်သက်သော အချက်အလက်များစွာ ရှိပါသည်။ ရလဒ်အနေဖြင့် အသိဥာဏ်အရှိဆုံး ဆုံးဖြတ်ချက်ကို ချမှတ်သည်၊ ထို့ကြောင့် ၎င်းသည် ပိုမိုတိကျမှုနှင့် ပြည့်စုံမှုရှိသည်။ ဤစနစ်များ၏ လုပ်ဆောင်မှု ကွာခြားချက်ကို လေ့ကျင့်ရေးဒေတာအဖြစ် ပထမတစ်ခုသို့ သင်ညွှန်ကြားနိုင်သည်။ ထို့ကြောင့် ပိုမိုရိုးရှင်းသောစနစ်သည် ပိုမိုရှုပ်ထွေးသောစနစ်တစ်ခု၏ စွမ်းဆောင်ရည်ကို ချဉ်းကပ်ရန် အမြဲကြိုးစားနေလိမ့်မည်။
• Classification ကိုနှိပ်ပါ။. အသုံးပြုသူ ကလစ်တစ်ခုစီကို ရိုးရှင်းစွာ ခွဲခြားနိုင်ပြီး ၎င်း၏တရားဝင်မှုနှင့် အသုံးပြုနိုင်စွမ်းကို အကဲဖြတ်နိုင်သည်။ အသုံးပြုသူ၏အရည်အချင်းများ၊ ၎င်း၏မှတ်တမ်း၊ ပေးပို့သူ၏အရည်အချင်းများ၊ စာသားကိုယ်တိုင်နှင့် အမျိုးအစားခွဲခြားမှု၏ရလဒ်တို့ကို အသုံးပြု၍ ကျွန်ုပ်တို့သည် ၎င်းကို antispam mail ဖြင့် ပြုလုပ်ပါသည်။ ထို့ကြောင့်၊ ကျွန်ုပ်တို့သည် သုံးစွဲသူ၏ အကြံပြုချက်ကို အတည်ပြုပေးသည့် အလိုအလျောက်စနစ်တစ်ခု ရရှိပါသည်။ မကြာခဏဆိုသလို ပြန်လည်လေ့ကျင့်ရန် လိုအပ်သောကြောင့်၊ ၎င်း၏အလုပ်သည် အခြားစနစ်များအားလုံးအတွက် အခြေခံဖြစ်လာနိုင်သည်။ ဤမော်ဒယ်တွင် အဓိကဦးစားပေးမှာ တိကျမှုဖြစ်သည်၊ အဘယ်ကြောင့်ဆိုသော် မမှန်ကန်သောဒေတာဆိုင်ရာ မော်ဒယ်ကို လေ့ကျင့်ခြင်းသည် အကျိုးဆက်များနှင့် ပြည့်နေသောကြောင့်ဖြစ်သည်။

ကျွန်ုပ်တို့သည် ဒေတာများကို သန့်ရှင်းရေးလုပ်ပြီး ကျွန်ုပ်တို့၏ ML စနစ်များကို ထပ်မံလေ့ကျင့်ပေးနေစဉ်တွင်၊ ကျွန်ုပ်တို့အတွက်၊ ဂရပ်ပေါ်ရှိ အမှားပေါင်း ထောင်နှင့်ချီသော သန်းပေါင်းများစွာသည် စာရင်းဇယားများဖြစ်ပြီး သုံးစွဲသူများအတွက် bug တိုင်းသည် ကြေကွဲစရာဖြစ်နေသောကြောင့်ဖြစ်သည်။ သုံးစွဲသူသည် ထုတ်ကုန်တွင် သင့်အမှားကို တစ်နည်းနည်းဖြင့် နေထိုင်ရမည်ဟူသောအချက်အပြင် တုံ့ပြန်ချက်ရရှိပြီးနောက်တွင် အလားတူအခြေအနေမျိုးသည် အနာဂတ်တွင် ပျောက်ကွယ်သွားလိမ့်မည်ဟု မျှော်လင့်ပါသည်။ ထို့ကြောင့်၊ သုံးစွဲသူများအား မဲပေးခွင့်သာမက ML စနစ်များ၏ အမူအကျင့်များကို ပြုပြင်ရန်၊ ဥပမာအားဖြင့် တုံ့ပြန်ချက်တစ်ခုစီအတွက် ကိုယ်ရေးကိုယ်တာဆိုင်ရာ အချက်အလက်များကို ဖန်တီးပေးခြင်းသည် အမြဲတမ်းတန်ဖိုးရှိပြီး၊ မေးလ်ကိစ္စတွင်၊ ၎င်းသည် စစ်ထုတ်နိုင်သည့်စွမ်းရည် ဖြစ်နိုင်သည်။ ပေးပို့သူနှင့် ဤအသုံးပြုသူအတွက် ခေါင်းစဉ်ဖြင့် ထိုသို့သောစာများ။

အခြားအသုံးပြုသူများသည် အလားတူပြဿနာများကို မခံစားရစေရန်အတွက် အချို့သော အစီရင်ခံစာများ သို့မဟုတ် တစ်ပိုင်းအလိုအလျောက် သို့မဟုတ် လက်စွဲမုဒ်တွင် ပံ့ပိုးပေးရန် တောင်းဆိုမှုများအပေါ် အခြေခံ၍ မော်ဒယ်ကို တည်ဆောက်ရန် လိုအပ်ပါသည်။

သင်ယူမှုအတွက် Heuristics

ဤ heuristic နှင့် ချိုင်းထောက်များတွင် ပြဿနာနှစ်ခုရှိသည်။ ပထမအချက်မှာ များပြားလာသော ချိုင်းထောက်များသည် ရေရှည်တွင် ၎င်းတို့၏ အရည်အသွေးနှင့် စွမ်းဆောင်ရည်ကို မဆိုထားနှင့် ထိန်းသိမ်းရန် ခက်ခဲပါသည်။ ဒုတိယပြဿနာမှာ error မကြာခဏမဖြစ်နိုင်သောကြောင့် မော်ဒယ်ကိုထပ်မံလေ့ကျင့်ရန် ကလစ်အနည်းငယ်နှိပ်ရုံဖြင့် မလုံလောက်ပါ။ အောက်ဖော်ပြပါနည်းလမ်းကို အသုံးပြုပါက ဤမသက်ဆိုင်သောအကျိုးသက်ရောက်မှုနှစ်ခုကို သိသိသာသာ ပျက်ပြယ်သွားစေနိုင်ပုံရသည်။

1. ကျွန်ုပ်တို့သည် ယာယီခြေထောက်ကို ဖန်တီးသည်။
2. ကျွန်ုပ်တို့သည် ၎င်းမှဒေတာကို မော်ဒယ်သို့ပေးပို့သည်၊ ၎င်းသည် လက်ခံရရှိသည့်ဒေတာအပါအဝင် ၎င်းသည် သူ့ဘာသာသူ ပုံမှန် update လုပ်ပါသည်။ ဤတွင်၊ သေချာသည်မှာ၊ လေ့ကျင့်ရေးအစုရှိ ဒေတာအရည်အသွေးကို လျှော့ချရန် မဖြစ်စေရန်အတွက် heuristics သည် မြင့်မားသောတိကျမှုရှိရန် အရေးကြီးပါသည်။
3. ထို့နောက် ချိုင်းထောက်ကို အစပျိုးရန် စောင့်ကြည့်ခြင်းအား ကျွန်ုပ်တို့ သတ်မှတ်ပြီး အချိန်အတန်ကြာပြီးနောက် ချိုင်းထောက်သည် အလုပ်မလုပ်တော့ဘဲ မော်ဒယ်ဖြင့် လုံးဝဖုံးလွှမ်းသွားပါက၊ သင်သည် ၎င်းကို ဘေးကင်းစွာ ဖယ်ရှားနိုင်ပါသည်။ အခု ဒီပြဿနာက ထပ်မဖြစ်နိုင်တော့ဘူး။

ထို့ကြောင့် ချိုင်းထောက်တပ်သည် အလွန်အသုံးဝင်သည်။ အဓိကကတော့ သူတို့ရဲ့ ဝန်ဆောင်မှုက အရေးတကြီးဖြစ်ပြီး မတည်မြဲပါဘူး။

အပိုသင်တန်း

ပြန်လည်လေ့ကျင့်ခြင်းသည် အသုံးပြုသူများ သို့မဟုတ် အခြားစနစ်များထံမှ တုံ့ပြန်ချက်ကြောင့် ရရှိလာသော ဒေတာအသစ်များကို ပေါင်းထည့်ခြင်းနှင့် ၎င်းတွင် ရှိပြီးသားပုံစံတစ်ခုကို လေ့ကျင့်ပေးခြင်း။ ထပ်လောင်းလေ့ကျင့်မှုတွင် ပြဿနာများစွာရှိနိုင်သည်-

1. မော်ဒယ်သည် ထပ်လောင်းလေ့ကျင့်မှုကို ပံ့ပိုးပေးမည်မဟုတ်သော်လည်း အစမှနေ၍သာ သင်ယူပါ။
2. သဘာဝတရား၏စာအုပ်တွင် ထပ်လောင်းလေ့ကျင့်မှုများသည် ထုတ်လုပ်မှု၏အရည်အသွေးကို မုချတိုးတက်စေမည်ဟု ရေးထားသည်။ မကြာခဏဆိုသလို ဆန့်ကျင်ဘက် ဖြစ်ပေါ်လာသည်မှာ ယိုယွင်းခြင်းသာ ဖြစ်နိုင်သည်။
3. အပြောင်းအလဲများသည် မှန်းဆ၍မရနိုင်ပါ။ ဤအချက်သည် ကျွန်ုပ်တို့ကိုယ်တိုင် ရှာဖွေဖော်ထုတ်ခဲ့သော သိမ်မွေ့သောအချက်ဖြစ်သည်။ A/B စမ်းသပ်မှုတစ်ခုတွင် မော်ဒယ်အသစ်သည် လက်ရှိပုံစံနှင့် နှိုင်းယှဉ်ပါက အလားတူရလဒ်များကို ပြသနေသော်လည်း ၎င်းသည် တူညီစွာအလုပ်လုပ်မည်ဟု မဆိုလိုပါ။ ၎င်းတို့၏အလုပ်သည် တစ်ရာခိုင်နှုန်းသာ ကွာခြားနိုင်ပြီး၊ ၎င်းသည် အမှားအသစ်များ သို့မဟုတ် ပြုပြင်ပြီးသား အဟောင်းများကို ပြန်ပေးနိုင်သည်။ ကျွန်ုပ်တို့နှင့် သုံးစွဲသူနှစ်ဦးစလုံးသည် လက်ရှိအမှားများနှင့် မည်သို့နေထိုင်ရမည်ကို သိရှိထားပြီးဖြစ်ပြီး အမှားအယွင်းအသစ်အမြောက်အမြား ပေါ်ပေါက်လာသောအခါတွင်၊ အသုံးပြုသူသည် ကြိုတင်ခန့်မှန်းနိုင်သော အပြုအမူများကို မျှော်လင့်ထားသောကြောင့် ဖြစ်ပျက်နေမှုများကို နားမလည်နိုင်ပေ။

ထို့ကြောင့် ထပ်လောင်းလေ့ကျင့်မှုတွင် အရေးကြီးဆုံးအချက်မှာ မော်ဒယ်ကို မြှင့်တင်ရန် သို့မဟုတ် အနည်းဆုံး ပိုဆိုးမသွားကြောင်း သေချာစေရန်ဖြစ်သည်။

ထပ်လောင်းလေ့ကျင့်မှုတွေအကြောင်းပြောတဲ့အခါ ပထမဆုံးသတိရတာက Active Learning ချဉ်းကပ်မှုပါ။ ဒါဘာကိုဆိုလိုတာပါလဲ? ဥပမာအားဖြင့်၊ အမျိုးအစားခွဲခြားသူသည် အီးမေးလ်တစ်စောင်သည် ဘဏ္ဍာရေးနှင့်ဆက်စပ်မှုရှိမရှိကို ဆုံးဖြတ်ပေးသည်၊ ၎င်း၏ဆုံးဖြတ်ချက်ဘောင်ပတ်လည်တွင် ကျွန်ုပ်တို့သည် တံဆိပ်တပ်ထားသော နမူနာနမူနာတစ်ခုကို ပေါင်းထည့်ပါသည်။ တုံ့ပြန်ချက်များစွာရှိသည့် ကြော်ငြာတွင် ၎င်းသည် ကောင်းမွန်စွာအလုပ်လုပ်ပြီး မော်ဒယ်ကို အွန်လိုင်းတွင် လေ့ကျင့်နိုင်သည်။ တုံ့ပြန်ချက်အနည်းငယ်သာရှိပါက၊ လည်ပတ်မှုအတွင်း မော်ဒယ်၏အပြုအမူကို အကဲဖြတ်ရန်မဖြစ်နိုင်သောကြောင့် ထုတ်လုပ်မှုဒေတာဖြန့်ဖြူးမှုနှင့် ပတ်သက်သော အလွန်ဘက်လိုက်သောနမူနာကို ကျွန်ုပ်တို့ရရှိမည်ဖြစ်သည်။

အမှန်တော့၊ ကျွန်ုပ်တို့၏ ရည်မှန်းချက်မှာ ပုံစံဟောင်းများကို ထိန်းသိမ်းရန်၊ သိပြီးသား မော်ဒယ်များကို ထိန်းသိမ်းရန်နှင့် အသစ်များကို ရယူရန်ဖြစ်သည်။ ဤနေရာတွင် ဆက်လက်တည်ရှိရန် အရေးကြီးပါသည်။ ထွက်လာဖို့ မကြာခဏ နာကျင်ခဲ့ရတဲ့ မော်ဒယ်က အလုပ်ဖြစ်နေပြီမို့ သူ့ရဲ့ စွမ်းဆောင်ရည်ကို အာရုံစိုက်နိုင်ပါပြီ။

ကွဲပြားခြားနားသောမော်ဒယ်များကိုမေးလ်တွင်အသုံးပြုသည်- သစ်ပင်များ၊ linear၊ neural networks။ တစ်ခုစီအတွက် ကျွန်ုပ်တို့၏ကိုယ်ပိုင်အပိုဆောင်းလေ့ကျင့်ရေး algorithm ကို ပြုလုပ်ပါသည်။ ထပ်လောင်းလေ့ကျင့်မှုလုပ်ငန်းစဉ်တွင်၊ ကျွန်ုပ်တို့သည် ဒေတာအသစ်များသာမက မကြာခဏဆိုသလို ဝန်ဆောင်မှုအသစ်များကိုပါ လက်ခံရရှိပါသည်၊ အောက်ဖော်ပြပါ algorithms အားလုံးကို ထည့်သွင်းစဉ်းစားပါမည်။

တစ်ပြေးညီမော်ဒယ်များ

ကျွန်ုပ်တို့တွင် logistic regression ရှိသည်ဆိုပါစို့။ ကျွန်ုပ်တို့သည် အောက်ပါအစိတ်အပိုင်းများမှ ဆုံးရှုံးမှုပုံစံတစ်ခုကို ဖန်တီးသည်-

• ဒေတာအသစ်တွင် LogLoss;
• ကျွန်ုပ်တို့သည် အင်္ဂါရပ်အသစ်များ၏ အလေးများကို ပုံမှန်ပြုလုပ်သည် (ကျွန်ုပ်တို့သည် အဟောင်းများကို မထိပါ);
• ပုံစံဟောင်းများကို ထိန်းသိမ်းထားနိုင်ရန် ဒေတာဟောင်းများမှလည်း သင်ယူပါသည်။
• နှင့်၊ ဖြစ်ကောင်းဖြစ်နိုင်၊ အရေးကြီးဆုံးအချက်- ကျွန်ုပ်တို့သည် စံနှုန်းအတိုင်း အလေးချိန်များသည် မော်ဒယ်ဟောင်းနှင့် များစွာမပြောင်းလဲကြောင်း အာမခံသော Harmonic Regularization ကို ထည့်သွင်းထားပါသည်။

Loss အစိတ်အပိုင်းတစ်ခုစီတွင် coefficients ရှိသောကြောင့်၊ ကျွန်ုပ်တို့သည် အပြန်အလှန်စစ်ဆေးခြင်း သို့မဟုတ် ထုတ်ကုန်လိုအပ်ချက်များအပေါ်အခြေခံ၍ ကျွန်ုပ်တို့၏လုပ်ငန်းအတွက် အကောင်းဆုံးတန်ဖိုးများကို ရွေးချယ်နိုင်ပါသည်။

သစ်ပင်များ

ဆုံးဖြတ်ချက်သစ်ပင်တွေဆီ ဆက်သွားကြရအောင်။ သစ်ပင်များ ထပ်လောင်းလေ့ကျင့်ရန်အတွက် အောက်ပါ algorithm ကို ကျွန်ုပ်တို့ စုစည်းထားပါသည်။

1. ထုတ်လုပ်မှုသည် ဒေတာအဟောင်းတစ်ခုပေါ်တွင် လေ့ကျင့်ထားသည့် သစ်ပင် 100-300 ရှိသော သစ်တောကို လုပ်ဆောင်သည်။
2. အဆုံးတွင် ကျွန်ုပ်တို့သည် M = 5 အပိုင်းများကို ဖယ်ရှားပြီး 2M = 10 အသစ်များကို ဒေတာအစုတစ်ခုလုံးတွင် လေ့ကျင့်သင်ကြားထားသော်လည်း မော်ဒယ်တွင် တိုးမြင့်ပြောင်းလဲမှုကို သဘာဝအတိုင်း အာမခံချက်ပေးသည့် ဒေတာအသစ်အတွက် အလေးချိန်မြင့်မားစွာဖြင့် ကျွန်ုပ်တို့သည် အဆုံးတွင် ထည့်သွင်းပါသည်။

အချိန်ကြာလာသည်နှင့်အမျှ သစ်ပင်အရေအတွက်သည် အလွန်များပြားလာပြီး အချိန်နှင့်ကိုက်ညီစေရန် အချိန်အခါအလိုက် လျှော့ချရမည်ဖြစ်သည်။ ထိုသို့လုပ်ဆောင်ရန်၊ ကျွန်ုပ်တို့သည် ယခုအခါ နေရာအနှံ့ အသိပညာ ပေါင်းခံခြင်း (KD) ကို အသုံးပြုပါသည်။ ၎င်း၏ လုပ်ဆောင်ချက် နိယာမ အကြောင်း အကျဉ်းချုပ်။

1. ကျွန်ုပ်တို့တွင် လက်ရှိ "ရှုပ်ထွေးသော" ပုံစံရှိသည်။ ကျွန်ုပ်တို့သည် ၎င်းကို လေ့ကျင့်ရေးဒေတာအစုတွင် လုပ်ဆောင်ပြီး အထွက်တွင် အတန်းဖြစ်နိုင်ခြေဖြန့်ဝေမှုကို ရယူသည်။
2. ထို့နောက်၊ ကျွန်ုပ်တို့သည် အတန်းခွဲဝေခြင်းကို ပစ်မှတ်ကိန်းရှင်အဖြစ် အသုံးပြု၍ မော်ဒယ်၏ရလဒ်များကို ထပ်ခါတလဲလဲလုပ်ရန် ကျောင်းသားမော်ဒယ် (ဤကိစ္စတွင် သစ်ပင်အနည်းငယ်ပါသော မော်ဒယ်) ကို လေ့ကျင့်ပေးပါသည်။
3. ကျွန်ုပ်တို့သည် data set markup ကို မည်သည့်နည်းဖြင့်မျှ မသုံးကြောင်း ဤနေရာတွင် မှတ်သားထားရန် အရေးကြီးပြီး ထို့ကြောင့် ကျွန်ုပ်တို့သည် မတရားသောဒေတာကို အသုံးပြုနိုင်ပါသည်။ ဟုတ်ပါတယ်၊၊ ကျွန်ုပ်တို့သည် ကျောင်းသားမော်ဒယ်အတွက် လေ့ကျင့်မှုနမူနာအဖြစ် တိုက်ခိုက်ရေးလမ်းကြောင်းမှ ဒေတာနမူနာကို အသုံးပြုပါသည်။ ထို့ကြောင့်၊ လေ့ကျင့်ရေးအစုံသည် ကျွန်ုပ်တို့အား မော်ဒယ်၏တိကျမှုကိုသေချာစေရန်ခွင့်ပြုထားပြီး၊ စီးကြောင်းနမူနာသည် ထုတ်လုပ်မှုဖြန့်ဖြူးမှုတွင် အလားတူစွမ်းဆောင်ရည်ကိုအာမခံပြီး လေ့ကျင့်မှုအစု၏ဘက်လိုက်မှုများအတွက် လျော်ကြေးပေးပါသည်။

ဤနည်းပညာနှစ်ခု၏ ပေါင်းစပ်မှုသည် (သစ်ပင်များထည့်ခြင်းနှင့် အသိပညာပေါင်းခံခြင်းအား အသုံးပြု၍ ၎င်းတို့၏အရေအတွက်ကို အခါအားလျော်စွာ လျှော့ချခြင်း) သည် ပုံစံအသစ်များကို မိတ်ဆက်ပြီး ပြီးပြည့်စုံသော စဉ်ဆက်မပြတ်မှုကို သေချာစေသည်။

KD ၏အကူအညီဖြင့်၊ အင်္ဂါရပ်များကိုဖယ်ရှားခြင်းနှင့် ကွာဟချက်များကိုလုပ်ဆောင်ခြင်းကဲ့သို့သော မော်ဒယ်အင်္ဂါရပ်များအတွက် မတူညီသောလုပ်ဆောင်မှုများကို လုပ်ဆောင်ပါသည်။ ကျွန်ုပ်တို့၏ကိစ္စတွင်၊ ကျွန်ုပ်တို့တွင် ပျက်သွားတတ်သည်မှာ ဒေတာဘေ့စ်တွင် သိမ်းဆည်းထားသည့် အရေးကြီးသော စာရင်းအင်းအင်္ဂါရပ်များစွာ (ပေးပို့သူများ၊ စာသား hashes၊ URL များ စသည်ဖြင့်) ရှိသည်။ လေ့ကျင့်ခန်းအစီအစဉ်တွင် ကျရှုံးမှုအခြေအနေများ မဖြစ်ပေါ်နိုင်သောကြောင့် မော်ဒယ်သည် ထိုသို့သောဖြစ်ရပ်များ ဖွံ့ဖြိုးတိုးတက်မှုအတွက် အဆင်သင့်မဖြစ်သေးပါ။ ထိုသို့သောအခြေအနေမျိုးတွင်၊ ကျွန်ုပ်တို့သည် KD နှင့် တိုးမြှင့်ခြင်းနည်းပညာများကို ပေါင်းစပ်ထားပါသည်- ဒေတာတစ်စိတ်တစ်ပိုင်းအတွက် လေ့ကျင့်သည့်အခါ လိုအပ်သောအင်္ဂါရပ်များကို ဖယ်ရှားခြင်း သို့မဟုတ် ပြန်လည်သတ်မှတ်ပြီး မူရင်းတံဆိပ်များ (လက်ရှိမော်ဒယ်၏ အထွက်များ) ကိုယူကာ ကျောင်းသားမော်ဒယ်သည် ဤဖြန့်ဖြူးမှုကို ထပ်ခါတလဲလဲ လေ့လာသင်ယူပါသည်။ .

ပိုမိုလေးနက်သော စံနမူနာ ခြယ်လှယ်မှု ဖြစ်ပေါ်လာသည်နှင့်အမျှ ကြိုးနမူနာ၏ ရာခိုင်နှုန်း ပိုများလာသည်ကို ကျွန်ုပ်တို့ သတိပြုမိပါသည်။

အင်္ဂါရပ်များ ဖယ်ရှားခြင်း ၊ အရိုးရှင်းဆုံး လုပ်ဆောင်ချက် သည် အင်္ဂါရပ် နှစ်ခု သာ ပြောင်းလဲ သွားပြီး လက်ရှိ မော်ဒယ် ကို တူညီသော အစုအဝေး တွင် လေ့ကျင့်ထား သောကြောင့် စီးဆင်းမှု ၏ အစိတ်အပိုင်း အနည်းငယ် သာ လိုအပ် သည် ။ မော်ဒယ်ကို ရိုးရှင်းစေရန် (သစ်ပင်အရေအတွက်ကို အကြိမ်များစွာ လျှော့ချခြင်း) 50 မှ 50 အထိ လိုအပ်နေပြီဖြစ်သည်။ ထို့အပြင် မော်ဒယ်၏ စွမ်းဆောင်ရည်ကို ပြင်းထန်စွာ ထိခိုက်စေမည့် အရေးကြီးသော စာရင်းအင်းအင်္ဂါရပ်များကို ချန်လှပ်ထားခြင်းအတွက်၊ လုပ်ဆောင်ချက်ကို အဆင့်မြှင့်တင်ရန် ပို၍ပင် လိုအပ်ပါသည်။ စာလုံးအမျိုးအစားအားလုံးတွင် ချန်လှပ်ခံနိုင်ရည်ရှိသော မော်ဒယ်အသစ်။

FastText

FastText သို့ ဆက်သွားကြပါစို့။ စကားလုံးတစ်လုံး၏ ကိုယ်စားပြုခြင်း (ထည့်သွင်းခြင်း) သည် စကားလုံးကိုယ်တိုင်ထည့်သွင်းခြင်း၏ ပေါင်းလဒ်နှင့် ၎င်း၏အက္ခရာ N-grams၊ အများအားဖြင့် trigrams များပါဝင်ကြောင်း သတိပေးပါရစေ။ trigram အများအပြားရှိနိုင်သောကြောင့် Bucket Hashing ကိုအသုံးပြုသည်၊ ဆိုလိုသည်မှာ space တစ်ခုလုံးကို fixed hashmap တစ်ခုအဖြစ်သို့ပြောင်းလဲခြင်း။ ရလဒ်အနေဖြင့် စကားလုံး + ပုံးအရေအတွက်အလိုက် အတွင်းအလွှာ၏ အတိုင်းအတာဖြင့် အလေးချိန်မက်ထရစ်ကို ရရှိသည်။

ထပ်လောင်းလေ့ကျင့်မှုနှင့်အတူ၊ လက္ခဏာအသစ်များပေါ်လာသည်- စကားလုံးများနှင့် trigrams။ Facebook မှ စံနောက်ဆက်တွဲလေ့ကျင့်မှုတွင် ထူးထူးခြားခြား ဘာမှမဖြစ်ပါ။ cross-entropy ပါရှိသော အလေးချိန်အဟောင်းများကိုသာ အချက်အလက်အသစ်တွင် ပြန်လည်လေ့ကျင့်ထားပါသည်။ ထို့ကြောင့်၊ အင်္ဂါရပ်အသစ်များကိုအသုံးမပြုပါ၊ ဟုတ်ပါတယ်၊ ဤချဉ်းကပ်မှုသည်ထုတ်လုပ်မှုမော်ဒယ်၏ကြိုတင်ခန့်မှန်းရခက်ခြင်းနှင့်ဆက်စပ်နေသောအထက်တွင်ဖော်ပြထားသောအားနည်းချက်များရှိသည်။ အဲဒါကြောင့် ကျွန်တော်တို့ FastText ကို နည်းနည်းပြင်ဆင်ထားပါတယ်။ ကျွန်ုပ်တို့သည် အလေးချိန်အသစ်များ (စကားလုံးများနှင့် trigrams) အားလုံးကို ပေါင်းထည့်၍ မက်ထရစ်တစ်ခုလုံးကို cross-entropy ဖြင့် ချဲ့ထွင်ပြီး အလေးချိန်ဟောင်းများတွင် အရေးမပါသောပြောင်းလဲမှုကို အာမခံသည့် မျဉ်းနရီပုံစံဖြင့် ယှဉ်တွဲကာ ဟန်ချက်ညီညီ ပုံမှန်ပြုလုပ်ခြင်းကို ပေါင်းထည့်ပါသည်။

CNN က

Convolutional networks တွေက နည်းနည်းပိုရှုပ်ထွေးပါတယ်။ CNN တွင် နောက်ဆုံးအလွှာများကို ပြီးမြောက်ပါက၊ သင်သည် ဟာမိုနီ ပုံမှန်ပြုလုပ်ခြင်းကို အသုံးချနိုင်ပြီး စဉ်ဆက်မပြတ်မှုကို အာမခံနိုင်ပါသည်။ သို့သော် ကွန်ရက်တစ်ခုလုံး၏ ထပ်လောင်းလေ့ကျင့်မှု လိုအပ်ပါက၊ ယင်းကဲ့သို့ ပုံမှန်ပြုလုပ်ခြင်းကို အလွှာအားလုံးတွင် အသုံးပြုနိုင်တော့မည် မဟုတ်ပါ။ သို့သော် Triplet Loss မှတဆင့် ဖြည့်စွက်ထည့်သွင်းမှုများကို လေ့ကျင့်ရန် ရွေးချယ်ခွင့်တစ်ခု ရှိပါသည်။မူရင်းဆောင်းပါး).

Triple Loss

ဥပမာတစ်ခုအနေဖြင့် ဆန့်ကျင်ဖြားယောင်းခြင်းလုပ်ငန်းကို အသုံးပြု၍ ယေဘူယျအသုံးအနှုန်းများဖြင့် Triplet Loss ကို ကြည့်ကြပါစို့။ ကျွန်ုပ်တို့သည် ကျွန်ုပ်တို့၏ လိုဂိုအပြင် အခြားကုမ္ပဏီများ၏ လိုဂိုများ၏ အပြုသဘောနှင့် အပျက်သဘောဆောင်သော နမူနာများကို ယူပါသည်။ ကျွန်ုပ်တို့သည် ပထမတစ်ခုကြားအကွာအဝေးကို လျှော့ချပြီး ဒုတိယကြားအကွာအဝေးကို ချဲ့ထွင်ကာ အတန်းများပိုမိုကျစ်လျစ်မှုရှိစေရန်အတွက် သေးငယ်သောကွာဟချက်ဖြင့် ၎င်းကိုလုပ်ဆောင်ပါသည်။

အကယ်၍ ကျွန်ုပ်တို့သည် ကွန်ရက်ကို ထပ်မံလေ့ကျင့်ပါက၊ ကျွန်ုပ်တို့၏ မက်ထရစ်နေရာသည် လုံးဝပြောင်းလဲသွားကာ ၎င်းသည် ယခင်တစ်ခုနှင့် လုံး၀ သဟဇာတမဖြစ်တော့ပါ။ ဤသည်မှာ vectors ကိုအသုံးပြုသောပြဿနာများတွင်ကြီးမားသောပြဿနာဖြစ်သည်။ ဤပြဿနာကို ပြေလည်စေရန် လေ့ကျင့်နေစဉ်အတွင်း မြှပ်နှံမှုဟောင်းများကို ရောနှောသွားပါမည်။

ကျွန်ုပ်တို့သည် လေ့ကျင့်ရေးအစုတွင် ဒေတာအသစ်များကို ထည့်သွင်းထားပြီး မော်ဒယ်၏ ဒုတိယဗားရှင်းကို အစမှအဆုံး လေ့ကျင့်လျက်ရှိသည်။ ဒုတိယအဆင့်တွင်၊ ကျွန်ုပ်တို့သည် ကျွန်ုပ်တို့၏ကွန်ရက်ကို ထပ်မံလေ့ကျင့်ပေးသည် (Finetuning)- ပထမအလွှာသည် နောက်ဆုံးအလွှာပြီးမြောက်ပြီးနောက် ကွန်ရက်တစ်ခုလုံး အေးခဲသွားခြင်းမရှိပါ။ triplets ရေးဖွဲ့ခြင်းလုပ်ငန်းစဉ်တွင်၊ ကျွန်ုပ်တို့သည် လေ့ကျင့်ထားသော မော်ဒယ်ကို အသုံးပြု၍ မြှုပ်နှံမှု၏ တစ်စိတ်တစ်ပိုင်းကိုသာ တွက်ချက်ပြီး၊ ကျန်သည် - အဟောင်းကို အသုံးပြုသည်။ ထို့ကြောင့် ထပ်လောင်းလေ့ကျင့်မှုလုပ်ငန်းစဉ်တွင်၊ ကျွန်ုပ်တို့သည် မက်ထရစ်နေရာလပ်များ v1 နှင့် v2 တို့၏ လိုက်ဖက်ညီမှုကို သေချာစေသည်။ ဟာမိုနီ ပုံမှန်ပြုလုပ်ခြင်း၏ ထူးခြားသောဗားရှင်း။

ဗိသုကာ တစ်ခုလုံး

ဥပမာအနေဖြင့် antispam ကိုအသုံးပြုသည့်စနစ်တစ်ခုလုံးကိုကျွန်ုပ်တို့ယူဆပါက၊ မော်ဒယ်များသည်သီးခြားမဟုတ်သော်လည်းတစ်ခုနှင့်တစ်ခုအတွင်းတွင်အသိုက်အမြုံရှိသည်။ ကျွန်ုပ်တို့သည် CNN နှင့် Fast Text တို့ကို အသုံးပြု၍ ရုပ်ပုံများ၊ စာသားနှင့် အခြားအင်္ဂါရပ်များကို ယူဆောင်သည်။ ထို့နောက်၊ အတန်းအစားအမျိုးမျိုးအတွက် ရမှတ်များပေးသည့် မြှပ်နှံမှုများ၏ထိပ်တွင် အမျိုးအစားခွဲခြားသတ်မှတ်ခြင်းကို အသုံးပြုပါသည်။ နိမိတ်လက္ခဏာများနှင့် နိမိတ်များသည် နောက်ဆုံး ဆုံးဖြတ်ချက်ချရန်အတွက် သစ်ပင်တောထဲသို့ ဝင်ရောက်နေပြီဖြစ်သည်။ ဤအစီအစဥ်ရှိ တစ်ဦးချင်းအမျိုးအစားခွဲခြားသူများသည် စနစ်၏ရလဒ်များကို ပိုမိုကောင်းမွန်စွာအနက်အဓိပ္ပာယ်ဖွင့်ဆိုနိုင်စေပြီး အချက်အလက်အားလုံးကို အစိမ်းလိုက်ပုံစံဖြင့် ဆုံးဖြတ်ချက်သစ်ပင်များအဖြစ် ကျွေးမွေးခြင်းထက် ပြဿနာများရှိလာပါက အစိတ်အပိုင်းများကို ပိုမိုတိကျစွာ ပြန်လည်လေ့ကျင့်ပေးနိုင်ပါသည်။

ရလဒ်အနေဖြင့် ကျွန်ုပ်တို့သည် အဆင့်တိုင်းတွင် ဆက်လက်တည်မြဲမှုကို အာမခံပါသည်။ CNN နှင့် Fast Text ၏အောက်ခြေအဆင့်တွင် ကျွန်ုပ်တို့သည် ဟာမိုနီကို ပုံမှန်ပြုလုပ်ခြင်းကို ကျွန်ုပ်တို့အသုံးပြုသည်၊၊ အလယ်တွင် အမျိုးအစားခွဲခွဲခြားခြင်းများအတွက် ကျွန်ုပ်တို့သည် ဖြစ်နိုင်ခြေဖြန့်ဝေမှု၏ညီညွတ်မှုအတွက် ဟာမိုနီပုံမှန်ပြုလုပ်ခြင်းနှင့် နှုန်းစံကိုက်ညှိခြင်းတို့ကိုလည်း အသုံးပြုပါသည်။ ကောင်းပြီ၊ သစ်ပင်မြှင့်တင်ခြင်းကို တိုးမြှင့်လေ့ကျင့်ပေးခြင်း သို့မဟုတ် Knowledge Distillation ကို အသုံးပြုခြင်း။

ယေဘူယျအားဖြင့်၊ အောက်ခြေအဆင့်ရှိ မည်သည့်အစိတ်အပိုင်းမဆို အထက်စနစ်တစ်ခုလုံးကို အပ်ဒိတ်လုပ်ထားသောကြောင့် ယင်းကဲ့သို့ nested machine learning system ကို ထိန်းသိမ်းခြင်းသည် များသောအားဖြင့် နာကျင်မှုတစ်ခုဖြစ်သည်။ သို့သော် ကျွန်ုပ်တို့၏ setup တွင် အစိတ်အပိုင်းတစ်ခုစီသည် အနည်းငယ်ပြောင်းလဲနေပြီး ယခင်တစ်ခုနှင့် ကိုက်ညီမှုရှိသောကြောင့်၊ ၎င်းအား ကြီးကြီးမားမားလုပ်ဆောင်စရာမလိုဘဲ ပံ့ပိုးပေးနိုင်သည့် ဖွဲ့စည်းပုံတစ်ခုလုံးကို ပြန်လည်လေ့ကျင့်ရန်မလိုအပ်ဘဲ စနစ်တစ်ခုလုံးကို အပိုင်းလိုက်မွမ်းမံနိုင်ပါသည်။

ချထားပေးပါ။

ကျွန်ုပ်တို့သည် ဒေတာစုဆောင်းခြင်းနှင့် မော်ဒယ်အမျိုးအစားများ၏ ထပ်လောင်းလေ့ကျင့်မှုများကို ဆွေးနွေးခဲ့ပြီးဖြစ်သောကြောင့် ၎င်းတို့ကို ထုတ်လုပ်မှုပတ်ဝန်းကျင်သို့ ဖြန့်ကျက်လုပ်ဆောင်သွားပါမည်။

A/B စမ်းသပ်ခြင်း။

စောစောက ပြောခဲ့သလိုပဲ၊ ဒေတာစုဆောင်းတဲ့ လုပ်ငန်းစဉ်မှာ၊ မော်ဒယ်ရဲ့ ထုတ်လုပ်မှုစွမ်းဆောင်ရည်ကို အကဲဖြတ်ဖို့ မဖြစ်နိုင်တဲ့ ဘက်လိုက်နမူနာတစ်ခုကို ရရှိလေ့ရှိပါတယ်။ ထို့ကြောင့်၊ လက်တွေ့အသုံးချသည့်အခါ၊ မော်ဒယ်ကို A/B စမ်းသပ်မှုများ ပြုလုပ်မည်ကို နားလည်ရန်အတွက် ယခင်ဗားရှင်းနှင့် နှိုင်းယှဉ်ရပါမည်။ အမှန်တော့၊ ဇယားများကို ထုတ်ပြီး ခွဲခြမ်းစိတ်ဖြာခြင်း လုပ်ငန်းစဉ်သည် အတော်လေး ပုံမှန်ဖြစ်ပြီး အလွယ်တကူ အလိုအလျောက် လုပ်ဆောင်နိုင်ပါသည်။ ကျွန်ုပ်တို့သည် ကျွန်ုပ်တို့၏မော်ဒယ်များကို 5%, 30%, 50% နှင့် 100% အသုံးပြုသူများထံ တဖြည်းဖြည်း ဖြန့်ကျက်ပြီး မော်ဒယ်တုံ့ပြန်မှုများနှင့် အသုံးပြုသူအကြံပြုချက်များအတွက် ရရှိနိုင်သော မက်ထရစ်အားလုံးကို စုဆောင်းနေပါသည်။ အချို့သော ပြင်းထန်သော ပြင်ပအခြေအနေများတွင်၊ ကျွန်ုပ်တို့သည် မော်ဒယ်ကို အလိုအလျောက် ပြန်လှည့်ပြီး အခြားကိစ္စများတွင် အသုံးပြုသူ ကလစ်အရေအတွက် အလုံအလောက်ကို စုဆောင်းပြီးနောက် ရာခိုင်နှုန်းကို တိုးမြှင့်ရန် ဆုံးဖြတ်ပါသည်။ ရလဒ်အနေဖြင့်၊ ကျွန်ုပ်တို့သည် မော်ဒယ်အသစ်ကို သုံးစွဲသူများ၏ 50% ထံ အပြည့်အဝ အလိုအလျောက် ယူဆောင်လာပြီး ဤအဆင့်ကို အလိုအလျောက်လုပ်ဆောင်နိုင်သော်လည်း ဤအဆင့်ကို အလိုအလျောက်လုပ်ဆောင်နိုင်သော်လည်း ပရိသတ်တစ်ခုလုံးသို့ ဖြန့်ချိမှုကို လူတစ်ဦးမှ အတည်ပြုမည်ဖြစ်သည်။

သို့သော် A/B စမ်းသပ်ခြင်းလုပ်ငန်းစဉ်သည် ပိုမိုကောင်းမွန်အောင်ပြုလုပ်ရန် နေရာပေးသည်။ အမှန်မှာ A/B စစ်ဆေးမှုတိုင်းသည် အလွန်ရှည်လျားသည် (ကျွန်ုပ်တို့၏အခြေအနေတွင် တုံ့ပြန်မှုပမာဏပေါ်မူတည်၍ 6 နာရီမှ 24 နာရီအထိ ကြာသည်)၊ ၎င်းသည် အလွန်စျေးကြီးပြီး အရင်းအမြစ်အကန့်အသတ်ဖြင့် ပြုလုပ်ထားသည်။ ထို့အပြင်၊ A/B စစ်ဆေးမှု၏ စုစုပေါင်းအချိန်ကို အရှိန်မြှင့်ရန်အတွက် စစ်ဆေးမှုအတွက် လုံလောက်သောမြင့်မားသော ရာခိုင်နှုန်းတစ်ခု လိုအပ်သည် (မက်ထရစ်များကို ရာခိုင်နှုန်းအနည်းငယ်ဖြင့် အကဲဖြတ်ရန်အတွက် ကိန်းဂဏန်းအချက်အလတ်သိသာထင်ရှားသောနမူနာကို စုဆောင်းခြင်းသည် အချိန်အတော်ကြာနိုင်သည်)၊ A/B slot အရေအတွက်သည် အလွန်အကန့်အသတ်ရှိသည်။ သိသိသာသာ၊ ကျွန်ုပ်တို့သည် ထပ်လောင်းလေ့ကျင့်ရေးလုပ်ငန်းစဉ်အတွင်း ကျွန်ုပ်တို့ရရှိသည့် အလားအလာအကောင်းဆုံးမော်ဒယ်များကိုသာ စမ်းသပ်ရန် လိုအပ်ပါသည်။

ဤပြဿနာကိုဖြေရှင်းရန်အတွက် A/B စမ်းသပ်မှု၏အောင်မြင်မှုကို ခန့်မှန်းပေးသည့် သီးခြားအမျိုးအစားခွဲခြားမှုကို ကျွန်ုပ်တို့ လေ့ကျင့်သင်ကြားပေးခဲ့ပါသည်။ ထိုသို့လုပ်ဆောင်ရန်၊ ကျွန်ုပ်တို့သည် ဆုံးဖြတ်ချက်ချသည့်စာရင်းဇယားများ၊ တိကျမှု၊ ပြန်လည်ခေါ်ဆိုမှုနှင့် လေ့ကျင့်မှုသတ်မှတ်မှုတွင်၊ ရွှေ့ဆိုင်းထားသည့်အရာနှင့် ထုတ်လွှင့်မှုမှနမူနာကို အင်္ဂါရပ်များအဖြစ် ရယူပါသည်။ ကျွန်ုပ်တို့သည် မော်ဒယ်ကို လက်ရှိထုတ်လုပ်နေသည့် မော်ဒယ်နှင့်လည်း နှိုင်းယှဉ်ကာ ဟန်ချက်ညီညီဖြင့် နှိုင်းယှဉ်ကာ မော်ဒယ်၏ ရှုပ်ထွေးမှုကို ထည့်သွင်းစဉ်းစားပါသည်။ ဤအင်္ဂါရပ်များအားလုံးကို အသုံးပြု၍ စမ်းသပ်မှုမှတ်တမ်းတွင် လေ့ကျင့်ထားသော အမျိုးအစားခွဲခွဲတစ်ခုသည် ကိုယ်စားလှယ်လောင်းပုံစံများကို အကဲဖြတ်သည်၊ ကျွန်ုပ်တို့၏အခြေအနေတွင်၊ ၎င်းတို့သည် သစ်တောများဖြစ်ကြောင်းနှင့် A/B စာမေးပွဲတွင် မည်သည့်အရာကို အသုံးပြုရမည်ကို ဆုံးဖြတ်ပေးသည်။

အကောင်အထည်ဖော်စဉ်တွင်၊ ဤချဉ်းကပ်မှုသည် ကျွန်ုပ်တို့အား အောင်မြင်သော A/B စမ်းသပ်မှုအရေအတွက်ကို အကြိမ်များစွာ တိုးမြှင့်နိုင်စေခဲ့သည်။

စမ်းသပ်ခြင်းနှင့် စောင့်ကြည့်စစ်ဆေးခြင်း။

စမ်းသပ်ခြင်းနှင့် စောင့်ကြည့်ခြင်းတို့သည် ထူးဆန်းလောက်အောင်ပင် ကျွန်ုပ်တို့၏ကျန်းမာရေးကို မထိခိုက်စေပါ၊ ဆန့်ကျင်ဘက်အနေနှင့် ၎င်းတို့သည် ၎င်းကို တိုးတက်စေပြီး ကျွန်ုပ်တို့အား မလိုအပ်သော စိတ်ဖိစီးမှုများကို သက်သာစေပါသည်။ စမ်းသပ်ခြင်းသည် သင့်အား ချို့ယွင်းမှုကို တားဆီးနိုင်စေပြီး စောင့်ကြည့်စစ်ဆေးခြင်းသည် သုံးစွဲသူများအပေါ် သက်ရောက်မှုကို လျှော့ချရန် အချိန်မီ သိရှိနိုင်မည်ဖြစ်သည်။

မကြာမီ သို့မဟုတ် နောက်ပိုင်းတွင် သင့်စနစ်သည် အမြဲတမ်း အမှားအယွင်းများ ရှိလာမည်ကို ဤနေရာတွင် နားလည်ရန် အရေးကြီးသည် - ၎င်းသည် မည်သည့်ဆော့ဖ်ဝဲလ်၏ ဖွံ့ဖြိုးတိုးတက်မှုစက်ဝန်းကြောင့်ဖြစ်သည်။ စနစ်ဖွံ့ဖြိုးတိုးတက်မှု၏အစတွင်အရာအားလုံးပြေလည်သွားပြီးဆန်းသစ်တီထွင်မှု၏အဓိကအဆင့်မပြီးမချင်း bug အများအပြားအမြဲရှိနေပါသည်။ သို့သော် အချိန်ကြာလာသည်နှင့်အမျှ၊ အင်ထရိုပီသည် ၎င်း၏အထွတ်အထိပ်သို့ ရောက်သွားပြီး၊ အစပိုင်းတွင် ကျွန်တော်ပြောခဲ့သည့် အစိတ်အပိုင်းများ၏ ယိုယွင်းပျက်စီးမှုနှင့် ဒေတာပြောင်းလဲမှုများကြောင့် အမှားအယွင်းများ ထပ်မံပေါ်လာပါသည်။

ဤနေရာတွင် မည်သည့်စက်သင်ယူမှုစနစ်မဆို ၎င်း၏ဘဝစက်ဝန်းတစ်လျှောက်လုံး ၎င်း၏အကျိုးအမြတ်ကို ရှုထောင့်မှ ထည့်သွင်းစဉ်းစားသင့်သည်ကို သတိပြုစေလိုပါသည်။ အောက်ဖော်ပြပါဂရပ်သည် ရှားပါးစပမ်းအမျိုးအစားကိုဖမ်းရန် စနစ်လုပ်ဆောင်ပုံ ဥပမာ (ဂရပ်ရှိမျဉ်းသည် သုညနှင့်နီးသည်)။ တစ်နေ့တွင်၊ မှားယွင်းစွာ သိမ်းဆည်းထားသော အရည်အချင်းတစ်ခုကြောင့် သူမသည် ရူးသွပ်သွားခဲ့သည်။ ကံတရားကြောင့်၊ ပုံမှန်မဟုတ်သော အစပျိုးခြင်းအတွက် စောင့်ကြည့်ခြင်းမရှိဘဲ၊ ရလဒ်အနေဖြင့်၊ စနစ်သည် ဆုံးဖြတ်ချက်ချသောနယ်နိမိတ်ရှိ "စပမ်း" ဖိုင်တွဲတွင် စာလုံးအမြောက်အမြားကို စတင်သိမ်းဆည်းခဲ့သည်။ အကျိုးဆက်များကို ပြုပြင်နေသော်လည်း၊ စနစ်သည် ငါးနှစ်အတွင်းပင် သူ့ဘာသာသူ ပေးချေမည်မဟုတ်သည့်အတွက် အကြိမ်များစွာ အမှားများပြုလုပ်ထားပြီးဖြစ်သည်။ ၎င်းသည် မော်ဒယ်၏ဘဝစက်ဝန်း၏ရှုထောင့်မှ လုံးဝပျက်ကွက်မှုဖြစ်သည်။

ထို့ကြောင့်၊ စောင့်ကြည့်ခြင်းကဲ့သို့သော ရိုးရှင်းသောအရာသည် မော်ဒယ်တစ်ဦး၏ဘဝတွင် အဓိကသော့ချက်ဖြစ်လာနိုင်သည်။ စံနှုန်းနှင့် သိသာထင်ရှားသော မက်ထရစ်များအပြင်၊ ကျွန်ုပ်တို့သည် မော်ဒယ်တုံ့ပြန်မှုများနှင့် ရမှတ်များ ခွဲဝေမှုအပြင် သော့ချက်အင်္ဂါရပ်တန်ဖိုးများ ဖြန့်ဖြူးမှုကိုလည်း ထည့်သွင်းစဉ်းစားပါသည်။ KL ကွဲပြားမှုကို အသုံးပြုခြင်းဖြင့်၊ ကျွန်ုပ်တို့သည် လက်ရှိဖြန့်ဖြူးမှုကို သမိုင်းဝင်တစ်ခု သို့မဟုတ် A/B စမ်းသပ်မှုရှိ တန်ဖိုးများနှင့် မော်ဒယ်၏ကွဲလွဲချက်များကို သတိပြုမိစေပြီး ကျွန်ုပ်တို့အား အချိန်နှင့်တစ်ပြေးညီ ပြောင်းလဲမှုများကို ပြန်လည်ကြည့်ရှုနိုင်စေမည့် A/B စမ်းသပ်မှုတွင် တန်ဖိုးများကို နှိုင်းယှဉ်နိုင်ပါသည်။

အခြေအနေအများစုတွင်၊ ကျွန်ုပ်တို့သည် အနာဂတ်တွင် စောင့်ကြည့်မှုအဖြစ် ကျွန်ုပ်တို့အသုံးပြုသည့် ရိုးရှင်းသော heuristics သို့မဟုတ် မော်ဒယ်များကို အသုံးပြုကာ ကျွန်ုပ်တို့၏ ပထမဆုံးဗားရှင်းများကို စတင်လုပ်ဆောင်ပါသည်။ ဥပမာအားဖြင့်၊ ကျွန်ုပ်တို့သည် သီးခြားအွန်လိုင်းစတိုးများအတွက် ပုံမှန်ဆိုင်များနှင့် နှိုင်းယှဉ်ကာ NER မော်ဒယ်ကို စောင့်ကြည့်ပြီး ၎င်းတို့နှင့် နှိုင်းယှဉ်လျှင် အမျိုးအစားခွဲခြားမှု အကျုံးဝင်မှု ကျဆင်းသွားပါက အကြောင်းရင်းများကို နားလည်ပါသည်။ နောက်ထပ်အသုံးဝင်သော heuristics အသုံးပြုမှု။

ရလဒ်များကို

ဆောင်းပါးရဲ့ အဓိကကျတဲ့ အတွေးအမြင်တွေကို ပြန်ကြည့်ရအောင်။

• Fibdeck. ကျွန်ုပ်တို့သည် အသုံးပြုသူအကြောင်း အမြဲစဉ်းစားသည်- ကျွန်ုပ်တို့၏အမှားများကို သူမည်သို့နေထိုင်မည်၊ ၎င်းတို့ကို မည်သို့သတင်းပို့နိုင်မည်နည်း။ အသုံးပြုသူများသည် လေ့ကျင့်ရေးမော်ဒယ်များအတွက် သန့်စင်သောတုံ့ပြန်ချက်၏ရင်းမြစ်မဟုတ်ကြောင်း မမေ့ပါနှင့်၊ ၎င်းအား အရန် ML စနစ်များ၏အကူအညီဖြင့် ရှင်းလင်းရန် လိုအပ်ပါသည်။ အသုံးပြုသူထံမှ အချက်ပြမှုကို စုဆောင်းရန် မဖြစ်နိုင်ပါက၊ ဥပမာ၊ ချိတ်ဆက်ထားသော စနစ်များ တုံ့ပြန်ချက်၏ အခြားအရင်းအမြစ်များကို ကျွန်ုပ်တို့ ရှာဖွေပါသည်။
• အပိုသင်တန်း. ဤနေရာတွင် အဓိကအချက်မှာ အဆက်ပြတ်နေသောကြောင့် ကျွန်ုပ်တို့သည် လက်ရှိထုတ်လုပ်မှုပုံစံကို အားကိုးပါသည်။ ဟန်ချက်ညီညီ ပုံမှန်ပြုလုပ်ခြင်းနှင့် အလားတူလှည့်ကွက်များကြောင့် ၎င်းတို့သည် ယခင်ပုံစံများနှင့် များစွာကွာခြားမှုမရှိစေရန် မော်ဒယ်အသစ်များကို လေ့ကျင့်ပေးပါသည်။
• ချထားပေးပါ။. မက်ထရစ်များကို အခြေခံ၍ အလိုအလျောက် ဖြန့်ကျက်ခြင်းသည် မော်ဒယ်များကို အကောင်အထည်ဖော်ရန် အချိန်ကို များစွာ လျှော့ချပေးပါသည်။ ကိန်းဂဏန်းစာရင်းဇယားများကို စောင့်ကြည့်ခြင်းနှင့် ဆုံးဖြတ်ချက်ချခြင်းဆိုင်ရာ ဖြန့်ဝေမှုများ၊ သင်၏ အနားယူအိပ်စက်ခြင်းနှင့် အကျိုးဖြစ်ထွန်းစေသော စနေ၊

ကောင်းပြီ၊ ဒါက မင်းရဲ့ ML စနစ်တွေကို ပိုမြန်အောင် မြှင့်တင်ဖို့၊ စျေးကွက်ကို ပိုမြန်လာအောင်၊ သူတို့ကို ပိုယုံကြည်စိတ်ချရပြီး စိတ်ဖိစီးမှုနည်းအောင် ကူညီပေးမယ်လို့ ငါမျှော်လင့်ပါတယ်။

source: www.habr.com