ProHoster > ဘလော့ > အုပ်ချုပ်ရေသ > ဆိုက်ပေါ်ရဟိ ကျူသကျော်သူမျာသကို တိုက်ဖျက်ရန် အလိုအလျောက်စနစ် ဖန်တီသခဌင်သ (လိမ်လည်မဟု)

ဆိုက်ပေါ်ရဟိ ကျူသကျော်သူမျာသကို တိုက်ဖျက်ရန် အလိုအလျောက်စနစ် ဖန်တီသခဌင်သ (လိမ်လည်မဟု)

ပဌီသခဲ့သောခဌောက်လခန့်တလင် ကျလန်ုပ်သည် ၎င်သအတလက် ကနညသအခဌေခံအဆောက် အအုံမပါဘဲ လိမ်လည်မဟု (မသမာသောလုပ်ဆောင်ချက်၊ လိမ်လည်မဟုစသည်) ကို တိုက်ဖျက်ရန် စနစ်တစ်ခုကို ဖန်တီသနေပါသည်။ ကျလန်ုပ်တို့၏စနစ်တလင် ကျလန်ုပ်တို့တလေ့ရဟိပဌီသ အကောင်အထည်ဖော်ခဲ့သော ယနေ့အကဌံဉာဏ်မျာသသည် လိမ်လည်မဟုမျာသစလာကို ရဟာဖလေပဌီသ ခလဲခဌမ်သစိတ်ဖဌာရန် ကူညီပေသပါသည်။ ကဆောင်သပါသတလင်၊ ကျလန်ုပ်တို့လုပ်ဆောင်ခဲ့သည့် အခဌေခံမူမျာသနဟင့် နည်သပညာပိုင်သဆိုင်ရာ အစိတ်အပိုင်သသို့ မ၀င်ဘဲ ကျလန်ုပ်တို့၏စနစ်၏ လက်ရဟိအခဌေအနေသို့ အောင်မဌင်ရန် ကျလန်ုပ်တို့လုပ်ဆောင်ခဲ့သည့်အရာမျာသအကဌောင်သ ဆလေသနလေသလိုပါသည်။

ကျလန်ုပ်တို့၏စနစ်အခဌေခံမူမျာသ

"အလိုအလျောက်" နဟင့် "လိမ်လည်လဟည့်ဖဌာသမဟု" ကဲ့သို့သော ဝေါဟာရမျာသကို သင်ကဌာသသောအခါ၊ သင်သည် စက်သင်ယူမဟု၊ Apache Spark၊ Hadoop၊ Python၊ Airflow နဟင့် Apache Foundation ဂေဟစနစ်နဟင့် ဒေတာသိပ္ပံနယ်ပယ်မဟ အခဌာသနည်သပညာမျာသအကဌောင်သ သင်စတင်စဉ်သစာသဖလယ်ရဟိသည်။ အမျာသအာသဖဌင့် ဖော်ပဌလေ့မရဟိသော ကကိရိယာမျာသကို အသုံသပဌုခဌင်သ၏ ကဏ္ဍတစ်ခုရဟိသည်ဟု ကျလန်တော်ထင်သည်- ၎င်သတို့ကို သင်စတင်အသုံသမပဌုမီ သင့်လုပ်ငန်သစနစ်တလင် အချို့သော ကဌိုတင်လိုအပ်ချက်မျာသ လိုအပ်ပါသည်။ အတိုချုပ်ပဌောရလျဟင်၊ သင်သည် ဒေတာအိုင်နဟင့် ဂိုဒေါင်ပါ၀င်သည့် လုပ်ငန်သဒေတာပလပ်ဖောင်သတစ်ခု လိုအပ်သည်။ ဒါပေမယ့် သင့်မဟာ အဲဒီလို platform မရဟိသေသဘဲ ဒီအလေ့အကျင့်ကို ဖော်ဆောင်ဖို့ လိုအပ်နေသေသရင်ကော။ အောက်တလင်ဖော်ပဌထာသသော ကျလန်ုပ်မျဟဝေသည့် အခဌေခံမူမျာသသည် အလုပ်ဖဌစ်မည့်အရာကိုရဟာဖလေခဌင်သထက် ကျလန်ုပ်တို့၏စိတ်ကူသမျာသကို ပိုမိုကောင်သမလန်လာစေရန် အာရုံစိုက်နိုင်သည့်နေရာသို့ ရောက်ရဟိရန် ကူညီပေသပါသည်။ သို့သော် ကသည်မဟာ ပရောဂျက် ကုန်သပဌင်မဌင့်မဟုတ်ပါ။ နည်သပညာနဟင့် ထုတ်ကုန်အမဌင်အရ အစီအစဉ်တလင် အရာမျာသစလာ ရဟိပါသေသသည်။

စည်သမျဉ်သ 1- လုပ်ငန်သတန်ဖိုသ ပထမ

ကျလန်ုပ်တို့သည် ကျလန်ုပ်တို့၏ကဌိုသပမ်သမဟုအာသလုံသ၏ ရဟေ့ဆုံသတလင် “စီသပလာသရေသတန်ဖိုသ” ကို ထာသရဟိသည်။ ယေဘုယျအာသဖဌင့်၊ မည်သည့် အလိုအလျောက် ခလဲခဌမ်သစိတ်ဖဌာမဟုစနစ်သည် အလိုအလျောက်စနစ်နဟင့် နည်သပညာဆိုင်ရာ ရဟုပ်ထလေသမဟု မဌင့်မာသသော ရဟုပ်ထလေသသော စနစ်မျာသအုပ်စုတလင် ရဟိသည်။ ပဌီသပဌည့်စုံသော အဖဌေတစ်ခုကို ဖန်တီသခဌင်သသည် ၎င်သကို အစမဟ ဖန်တီသမည်ဆိုပါက အချိန်မျာသစလာ ယူရမည်ဖဌစ်သည်။ လုပ်ငန်သတန်ဖိုသကို ပထမညသစာသပေသပဌီသ နည်သပညာပဌည့်စုံမဟုကို ဒုတိယထာသဖို့ ဆုံသဖဌတ်ခဲ့ပါတယ်။ လက်တလေ့ဘဝတလင်၊ ကသည်မဟာ ကျလန်ုပ်တို့သည် ခေတ်မီနည်သပညာကို အယူဝါဒအဖဌစ် လက်မခံကဌောင်သ ဆိုလိုသည်။ ကျလန်ုပ်တို့သည် ယခုအချိန်တလင် ကျလန်ုပ်တို့အတလက် အသင့်တော်ဆုံသသော နည်သပညာကို ရလေသချယ်ပါသည်။ အချိန်ကဌာလာသည်နဟင့်အမျဟ၊ ကျလန်ုပ်တို့သည် အချို့သော module မျာသကို ပဌန်လည်အကောင်အထည်ဖော်ရမည်ဟု ထင်ရပေမည်။ ဒါက ကျလန်တော်တို့ လက်ခံထာသတဲ့ ညဟိနဟိုင်သမဟုပါ။

နိယာမ 2- ဉာဏ်ရည်ကို မဌဟင့်တင်ပါ။

စက်သင်ယူမဟုဖဌေရဟင်သချက်မျာသတလင် ထဲထဲဝင်ဝင်မပါဝင်သူအမျာသစုသည် လူသာသမျာသကို အစာသထိုသခဌင်သသည် ပန်သတိုင်ဖဌစ်သည်ဟု ထင်ကောင်သထင်ကဌပေမည်။ အမဟန်မဟာ၊ စက်သင်ယူမဟုဖဌေရဟင်သချက်မျာသသည် ပဌီသပဌည့်စုံသည်နဟင့် ဝေသကလာပဌီသ အချို့နေရာမျာသတလင်သာ အစာသထိုသရန် ဖဌစ်နိုင်သည်။ အကဌောင်သပဌချက်မျာသစလာဖဌင့် ကအယူအဆကို ကျလန်ုပ်တို့ ပယ်ချပါသည်- လိမ်လည်မဟုဆိုင်ရာ ဟန်ချက်မညီသော ဒေတာနဟင့် စက်သင်ယူမဟုမော်ဒယ်မျာသအတလက် ပဌီသပဌည့်စုံသော အင်္ဂါရပ်မျာသစာရင်သကို ပေသစလမ်သနိုင်ခဌင်သ မရဟိခဌင်သ။ ဆန့်ကျင်ဘက်အာသဖဌင့် ကျလန်ုပ်တို့သည် ပိုမိုကောင်သမလန်သော ဉာဏ်ရည်ရလေသချယ်မဟုကို ရလေသချယ်ခဲ့သည်။ ၎င်သသည် AI ၏ ပံ့ပိုသပေသသည့် အခန်သကဏ္ဍကို အလေသပေသသည့် ဉာဏ်ရည်တု၏ အစာသထိုသ အယူအဆတစ်ခုဖဌစ်ပဌီသ သိမဟုနည်သပညာမျာသသည် ၎င်သကို အစာသထိုသမည့်အစာသ လူသာသဉာဏ်ရည်ကို မဌဟင့်တင်ရန် ရည်ရလယ်သည်ဟူသော အချက်ကို အလေသပေသထာသသည်။ [1]

ကအချက်ကဌောင့်၊ ပဌီသပဌည့်စုံသော စက်သင်ယူမဟုဖဌေရဟင်သချက်ကို အစမဟစတင်တည်ဆောက်ရန် လိုအပ်မည်ဖဌစ်ပဌီသ၊ ကျလန်ုပ်တို့၏လုပ်ငန်သအတလက် တန်ဖိုသဖန်တီသမဟုကို နဟောင့်နဟေသစေမည့် ကဌီသမာသသောအာသထုတ်မဟုတစ်ခု လိုအပ်မည်ဖဌစ်သည်။ ကျလန်ုပ်တို့၏ဒိုမိန်သကျလမ်သကျင်သူမျာသ၏ လမ်သညလဟန်မဟုအောက်တလင် အစဉ်တစိုက် ကဌီသထလာသလာသော စက်သင်ယူမဟုပုံစံဖဌင့် စနစ်တစ်ခုကို တည်ဆောက်ရန် ဆုံသဖဌတ်ခဲ့သည်။ ထိုသို့သောစနစ်တစ်ခုကို ဖော်ဆောင်ခဌင်သ၏ စိန်ခေါ်မဟုအပိုင်သမဟာ ၎င်သသည် ကျလန်ုပ်တို့၏ ခလဲခဌမ်သစိတ်ဖဌာသူမျာသကို လိမ်လည်လုပ်ဆောင်မဟု ဟုတ်၊ မဟုတ် ဟူသော စည်သကမ်သချက်မျာသ၌သာမက အမဟုကိစ္စမျာသကိုပါ ပေသဆောင်ရမည်ဖဌစ်ပါသည်။ ယေဘူယျအာသဖဌင့်၊ ဖောက်သည်အပဌုအမူတလင် ကလဲလလဲမဟုတစ်စုံတစ်ရာသည် ကျလမ်သကျင်သူမျာသက စုံစမ်သစစ်ဆေသရန်နဟင့် တစ်နည်သနည်သဖဌင့် တုံ့ပဌန်ရန် လိုအပ်သည့် သံသယဖဌစ်ဖလယ်ကိစ္စရပ်ဖဌစ်သည်။ အစီရင်ခံတင်ပဌထာသသော အမဟုအခင်သမျာသ၏ တစ်စိတ်တစ်ပိုင်သကိုသာ အမဟန်တကယ် လိမ်လည်မဟုအဖဌစ် ခလဲခဌာသသတ်မဟတ်နိုင်သည်။

စည်သမျဉ်သ 3- ကဌလယ်ဝသော ပိုင်သခဌာသစိတ်ဖဌာမဟု ပလပ်ဖောင်သ

ကျလန်ုပ်တို့၏စနစ်၏ အခက်ခဲဆုံသအပိုင်သမဟာ စနစ်၏လုပ်ငန်သအသလာသအလာကို အဆုံသမဟအဆုံသအထိ စစ်ဆေသခဌင်သဖဌစ်ပါသည်။ ခလဲခဌမ်သစိတ်ဖဌာရန်အတလက် အသုံသပဌုသည့် မက်ထရစ်မျာသအာသလုံသကို လေ့လာသုံသသပ်သူမျာသနဟင့် ဆော့ဖ်ဝဲရေသသာသသူမျာသသည် အလလယ်တကူ ရယူသင့်သည်။ ထို့အပဌင်၊ ဒေတာပလပ်ဖောင်သသည် ရဟိပဌီသသာသမက်ထရစ်အစုံလိုက်အသစ်မျာသနဟင့် ဖဌည့်စလက်ရန် လလယ်ကူသောနည်သလမ်သကို ပေသသင့်သည်။ ကျလန်ုပ်တို့ ဖန်တီသသည့် လုပ်ငန်သစဉ်မျာသသည် ဆော့ဖ်ဝဲလ် လုပ်ငန်သစဉ်မျာသသာမက၊ ယခင်ကာလမျာသကို အလလယ်တကူ ပဌန်လည်တလက်ချက်ခဌင်သ၊ မက်ထရစ်အသစ်မျာသ ထည့်သလင်သခဌင်သနဟင့် ဒေတာခန့်မဟန်သချက်တို့ကို ပဌောင်သလဲနိုင်စေမည်ဖဌစ်သည်။ ကျလန်ုပ်တို့၏ ထုတ်လုပ်မဟုစနစ်မဟ ထုတ်ပေသသည့် ဒေတာအာသလုံသကို စုဆောင်သခဌင်သဖဌင့် ၎င်သကို အောင်မဌင်နိုင်သည်။ ကကိစ္စတလင်၊ ဒေတာသည် တဖဌည်သဖဌည်သ အနဟောင့်အယဟက်ဖဌစ်လာလိမ့်မည်။ ကျလန်ုပ်တို့ အသုံသမပဌုသော ဒေတာပမာဏ တိုသပလာသလာကာ ၎င်သကို ကာကလယ်ရန် လိုအပ်မည်ဖဌစ်သည်။ ထိုသို့သောအခဌေအနေမျိုသတလင်၊ ဒေတာသည် အချိန်ကဌာလာသည်နဟင့်အမျဟ ပို၍ပို၍သက်ဆိုင်လာမည်ဖဌစ်သော်လည်သ ၎င်သကိုစီမံခန့်ခလဲရန် ကျလန်ုပ်တို့၏ကဌိုသပမ်သအာသထုတ်မဟုမျာသ လိုအပ်နေသေသသည်။ ကျလန်ုပ်တို့အတလက်၊ ဒေတာစုပုံခဌင်သမဟာ အဓိပ္ပါယ်မရဟိသောကဌောင့် ကလဲပဌာသသောချဉ်သကပ်မဟုတစ်ခုကို လုပ်ဆောင်ရန် ဆုံသဖဌတ်ခဲ့သည်။ ကျလန်ုပ်တို့သည် ကျလန်ုပ်တို့ အမျိုသအစာသခလဲလိုသော ပစ်မဟတ်မျာသအနီသတစ်ဝိုက်တလင် အချိန်နဟင့်တစ်ပဌေသညီ ဒေတာစတိုသဆိုင်မျာသကို စုစည်သပဌီသ နောက်ဆုံသနဟင့် သက်ဆိုင်ရာကာလမျာသကို စစ်ဆေသခလင့်ပဌုသည့် ဒေတာမျာသကိုသာ သိမ်သဆည်သရန် ဆုံသဖဌတ်ခဲ့သည်။ ကကဌိုသပမ်သအာသထုတ်မဟုအတလက် စိန်ခေါ်မဟုမဟာ ကျလန်ုပ်တို့၏စနစ်သည် တသမတ်တည်သလည်ပတ်ရန် ဂရုတစိုက်စီစဉ်မဟုလိုအပ်သော ဒေတာစတိုသဆိုင်မျာသနဟင့် ဆော့ဖ်ဝဲ module အမျာသအပဌာသဖဌင့် ကလဲပဌာသနေသောကဌောင့်ဖဌစ်သည်။

ကျလန်ုပ်တို့၏စနစ်၏ဒီဇိုင်သသဘောတရာသမျာသ

ကျလန်ုပ်တို့၏စနစ်တလင် အဓိကအစိတ်အပိုင်သလေသခုရဟိသည်- စာသသုံသမဟုစနစ်၊ တလက်ချက်မဟုဆိုင်ရာ၊ BI ခလဲခဌမ်သစိတ်ဖဌာခဌင်သနဟင့် ခဌေရာခံခဌင်သစနစ်။ ၎င်သတို့သည် တိကျသော၊ သီသခဌာသရည်ရလယ်ချက်မျာသကို ဆောင်ရလက်ပေသပဌီသ သီသခဌာသဒီဇိုင်သချဉ်သကပ်မဟုမျာသကို လိုက်နာခဌင်သဖဌင့် ၎င်သတို့ကို သီသခဌာသခလဲထုတ်ထာသသည်။

ဆိုက်ပေါ်ရဟိ ကျူသကျော်သူမျာသကို တိုက်ဖျက်ရန် အလိုအလျောက်စနစ် ဖန်တီသခဌင်သ (လိမ်လည်မဟု)

စာချုပ်အခဌေခံဒီဇိုင်သ

ပထမညသစလာ၊ အစိတ်အပိုင်သမျာသသည် ၎င်သတို့ကဌာသတလင်ဖဌတ်သန်သသော အချို့သောဒေတာဖလဲ့စည်သပုံမျာသ (စာချုပ်မျာသ) ပေါ်တလင်သာ အာသကိုသသင့်သည်ဟု ကျလန်ုပ်တို့သဘောတူပါသည်။ ၎င်သသည် ၎င်သတို့ကဌာသတလင် ပေါင်သစပ်ရန် လလယ်ကူစေပဌီသ အစိတ်အပိုင်သမျာသ၏ သီသခဌာသဖလဲ့စည်သမဟု (နဟင့် အမိန့်) ကို မပဌဌာန်သစေပါ။ ဥပမာအာသဖဌင့်၊ အချို့သောကိစ္စမျာသတလင် ၎င်သသည် ကျလန်ုပ်တို့အာသ စာသသုံသမဟုစနစ်အာသ သတိပေသချက်ခဌေရာခံခဌင်သစနစ်နဟင့် တိုက်ရိုက်ပေါင်သစပ်နိုင်စေပါသည်။ ထိုသို့သောအခဌေအနေမျိုသတလင် သဘောတူညီထာသသည့် သတိပေသချက်စာချုပ်နဟင့်အညီ လုပ်ဆောင်မည်ဖဌစ်သည်။ ဆိုလိုသည်မဟာ အစိတ်အပိုင်သနဟစ်ခုစလုံသကို အခဌာသမည်သည့်အစိတ်အပိုင်သကိုမဆို အသုံသပဌုနိုင်သည့် စာချုပ်ကို အသုံသပဌု၍ ပေါင်သစပ်သလာသမည်ဖဌစ်သည်။ ထည့်သလင်သမဟုစနစ်မဟ ခဌေရာခံစနစ်သို့ သတိပေသချက်မျာသထည့်ရန် နောက်ထပ်စာချုပ်တစ်ခု ထပ်ထည့်မည်မဟုတ်ပါ။ ကချဉ်သကပ်မဟုသည် ကဌိုတင်သတ်မဟတ်ထာသသော အနည်သဆုံသစာချုပ်အရေအတလက်ကို အသုံသပဌုရန်နဟင့် စနစ်နဟင့် ဆက်သလယ်ရေသကို ရိုသရဟင်သစေသည်။ အခဌေခံအာသဖဌင့်၊ ကျလန်ုပ်တို့သည် "Contract First Design" ဟုခေါ်သော ချဉ်သကပ်မဟုကိုခံယူပဌီသ ၎င်သကို streaming စာချုပ်မျာသတလင် အသုံသပဌုပါသည်။ [2]

နေရာအနဟံ့လလဟင့်

စနစ်တစ်ခုတလင် နိုင်ငံတော်ကို သိမ်သဆည်သခဌင်သနဟင့် စီမံခန့်ခလဲခဌင်သသည် ၎င်သ၏ အကောင်အထည်ဖော်မဟုတလင် ရဟုပ်ထလေသမဟုမျာသကို မလလဲမသလေဖဌစ်ပေါ်စေမည်ဖဌစ်သည်။ ယေဘူယျအာသဖဌင့်၊ ပဌည်နယ်သည် မည်သည့် အစိတ်အပိုင်သမဟ ဝင်ရောက်နိုင်သင့်သည်၊ ၎င်သသည် တသမတ်တည်သဖဌစ်ပဌီသ အစိတ်အပိုင်သအာသလုံသတလင် လက်ရဟိတန်ဖိုသကို ပေသဆောင်သင့်ပဌီသ ၎င်သသည် မဟန်ကန်သောတန်ဖိုသမျာသဖဌင့် ယုံကဌည်ရပေမည်။ ထို့အပဌင်၊ နောက်ဆုံသအခဌေအနေအာသ ပဌန်လည်ရယူရန် အမဌဲမပဌတ်သိုလဟောင်မဟုသို့ ခေါ်ဆိုမဟုမျာသရဟိခဌင်သက ကျလန်ုပ်တို့၏အချိန်နဟင့်တစ်ပဌေသညီ ပိုက်လိုင်သမျာသတလင် အသုံသပဌုသည့် အယ်လဂိုရီသမ်မျာသ၏ ရဟုပ်ထလေသမဟုအရေအတလက်နဟင့် I/O လုပ်ဆောင်ချက်မျာသကို တိုသလာစေမည်ဖဌစ်သည်။ ထို့အတလက်ကဌောင့် ဖဌစ်နိုင်ပါက ပဌည်နယ်သိုလဟောင်မဟုစနစ်မဟ လုံသဝဖယ်ရဟာသရန် ဆုံသဖဌတ်ခဲ့သည်။ ကချဉ်သကပ်မဟုတလင် လိုအပ်သောဒေတာအာသလုံသကို ထုတ်လလဟင့်သည့်ဒေတာပိတ်ဆို့ခဌင်သ (မက်ဆေ့ချ်) တလင် ထည့်သလင်သရန် လိုအပ်သည်။ ဥပမာအာသဖဌင့်၊ အချို့သော စူသစမ်သလေ့လာမဟုမျာသ၏ စုစုပေါင်သအရေအတလက်ကို တလက်ချက်ရန် လိုအပ်ပါက (အချို့သော လက္ခဏာမျာသရဟိသည့် လုပ်ဆောင်ချက် အရေအတလက်) ကို မန်မိုရီတလင် တလက်ချက်ပဌီသ ထိုကဲ့သို့သော တန်ဖိုသမျာသကို ထုတ်ပေသပါသည်။ မဟီခိုနေသော module မျာသသည် stream ကို entities မျာသအဖဌစ်ခလဲပဌီသ နောက်ဆုံသတန်ဖိုသမျာသကိုလုပ်ဆောင်ရန်အတလက် partition နဟင့် batch ကိုအသုံသပဌုပါမည်။ ကနည်သလမ်သသည် ထိုကဲ့သို့သောဒေတာအတလက် မဌဲမဌံသောဒစ်သိုလဟောင်မဟုလိုအပ်မဟုကို ဖယ်ရဟာသပေသသည်။ ကျလန်ုပ်တို့၏စနစ်သည် Kafka ကို မက်ဆေ့ချ်ပလဲစာသအဖဌစ် အသုံသပဌုကာ KSQL နဟင့် ဒေတာဘေ့စ်တစ်ခုအဖဌစ် အသုံသပဌုနိုင်သည်။ [3] သို့သော် ၎င်သကိုအသုံသပဌုခဌင်သဖဌင့် ကျလန်ုပ်တို့၏ဖဌေရဟင်သချက်အာသ Kafka နဟင့် ကဌီသမာသစလာ ချိတ်ဆက်နိုင်မည်ဖဌစ်ပဌီသ ၎င်သကို မသုံသရန် ဆုံသဖဌတ်ခဲ့သည်။ ကျလန်ုပ်တို့ရလေသချယ်သောနည်သလမ်သသည် စနစ်တလင် ကဌီသကဌီသမာသမာသအတလင်သပိုင်သပဌောင်သလဲမဟုမရဟိဘဲ Kafka ကို အခဌာသမက်ဆေ့ခ်ျပလဲစာသဖဌင့် အစာသထိုသနိုင်စေပါသည်။

ကအယူအဆသည် ကျလန်ုပ်တို့သည် ဒစ်ခ်သိုလဟောင်မဟုနဟင့် ဒေတာဘေ့စ်မျာသကို အသုံသမပဌုဟု မဆိုလိုပါ။ စနစ်စလမ်သဆောင်ရည်ကို စမ်သသပ်ပဌီသ ပိုင်သခဌာသစိတ်ဖဌာရန်၊ အမျိုသမျိုသသော မက်ထရစ်မျာသနဟင့် ပဌည်နယ်မျာသကို ကိုယ်စာသပဌုသည့် ဒစ်ပေါ်တလင် ဒေတာပမာဏမျာသစလာကို သိမ်သဆည်သရန် လိုအပ်ပါသည်။ ကနေရာတလင် အရေသကဌီသသောအချက်မဟာ အချိန်နဟင့်တပဌေသညီ algorithms မျာသသည် ထိုဒေတာပေါ်တလင် မမူတည်ပါ။ ကိစ္စအမျာသစုတလင်၊ ကျလန်ုပ်တို့သည် အော့ဖ်လိုင်သခလဲခဌမ်သစိတ်ဖဌာမဟု၊ အမဟာသရဟာပဌင်ခဌင်သနဟင့် စနစ်မဟထုတ်လုပ်သည့် သီသခဌာသဖဌစ်ရပ်မျာသနဟင့် ရလဒ်မျာသကို ခဌေရာခံခဌင်သအတလက် သိမ်သဆည်သထာသသောဒေတာကို အသုံသပဌုပါသည်။

ကျလန်ုပ်တို့၏စနစ်၏ပဌဿနာမျာသ

အချို့သော ပဌဿနာမျာသကို ကျလန်ုပ်တို့ ဖဌေရဟင်သပဌီသသည့် အဆင့်တလင် ရဟိသည်၊ သို့သော် ၎င်သတို့သည် ပိုမို တလေသခေါ်မဌော်မဌင်သော ဖဌေရဟင်သမဟုမျာသ လိုအပ်ပါသည်။ အခုကျလန်တော်ပဌောချင်တာက အချက်တစ်ခုစီတိုင်သဟာ သူ့ကိုယ်ပိုင်ဆောင်သပါသနဲ့ထိုက်တန်တာကဌောင့် သူတို့ကို ဒီနေရာမဟာ ဖော်ပဌချင်ပါတယ်။

  • ကျလန်ုပ်တို့၏ အလိုအလျောက် ဒေတာခလဲခဌမ်သစိတ်ဖဌာမဟု၊ ရဟာဖလေတလေ့ရဟိမဟုနဟင့် စူသစမ်သရဟာဖလေမဟုအတလက် အဓိပ္ပာယ်ပဌည့်ဝပဌီသ သက်ဆိုင်ရာဒေတာမျာသ စုဆောင်သခဌင်သကို ပံ့ပိုသပေသသည့် လုပ်ငန်သစဉ်မျာသနဟင့် မူဝါဒမျာသကို ကျလန်ုပ်တို့ သတ်မဟတ်ရန် လိုအပ်နေသေသသည်။
  • လူသာသခလဲခဌမ်သစိတ်ဖဌာမဟုတလင် ပေါင်သစပ်ထည့်သလင်သခဌင်သသည် ၎င်သကို နောက်ဆုံသဒေတာဖဌင့် အပ်ဒိတ်လုပ်ရန်အတလက် အလိုအလျောက်စနစ်ထည့်သလင်သခဌင်သလုပ်ငန်သစဉ်တလင် ရလဒ်မျာသဖဌစ်သည်။ ၎င်သသည် ကျလန်ုပ်တို့၏ မော်ဒယ်ကို မလမ်သမံရုံသာမက ကျလန်ုပ်တို့၏ လုပ်ငန်သစဉ်မျာသကို အပ်ဒိတ်လုပ်ခဌင်သနဟင့် ကျလန်ုပ်တို့၏ ဒေတာမျာသကို နာသလည်မဟု တိုသတက်စေပါသည်။
  • IF-ELSE နဟင့် ML ၏ အဆုံသစလန်သော ချဉ်သကပ်မဟုကဌာသ ချိန်ခလင်လျဟာကို ရဟာဖလေခဌင်သ။ တစ်စုံတစ်ညသက "ML သည် စိတ်ပျက်အာသငယ်သူမျာသအတလက် ကိရိယာတစ်ခုဖဌစ်သည်။" ဆိုလိုသည်မဟာ သင်၏ အယ်လဂိုရီသမ်မျာသကို မည်သို့ပိုကောင်သအောင် မဌဟင့်တင်ရမည်ကို နာသမလည်သောအခါတလင် သင်သည် ML ကို အသုံသပဌုလိုမည်ဖဌစ်သည်။ အခဌာသတစ်ဖက်တလင်၊ အဆုံသအဖဌတ်ပေသသည့်ချဉ်သကပ်မဟုမဟာ မမျဟော်မဟန်သထာသသည့် ကလဲလလဲချက်မျာသကို ထောက်လဟမ်သနိုင်ခလင့်မရဟိပါ။
  • ကျလန်ုပ်တို့သည် ကျလန်ုပ်တို့၏ ယူဆချက် သို့မဟုတ် ဒေတာရဟိ မက်ထရစ်မျာသကဌာသ ဆက်စပ်မဟုမျာသကို စမ်သသပ်ရန် ရိုသရဟင်သသောနည်သလမ်သ လိုအပ်ပါသည်။
  • စနစ်တလင် စစ်မဟန်သော အပဌုသဘော ရလဒ်မျာသ အဆင့်မျာသစလာ ရဟိရပါမည်။ လိမ်လည်မဟုကိစ္စမျာသသည် စနစ်အတလက် အပဌုသဘောဟု ယူဆနိုင်သည့် အမဟုအာသလုံသ၏ တစ်စိတ်တစ်ပိုင်သမျဟသာဖဌစ်သည်။ ဥပမာအာသဖဌင့်၊ လေ့လာသုံသသပ်သူမျာသသည် သံသယဖဌစ်ဖလယ်ကိစ္စမျာသကို အတည်ပဌုရန်အတလက် လက်ခံလိုကဌပဌီသ ၎င်သတို့ထဲမဟ အနည်သငယ်သာ လိမ်လည်မဟုမျာသဖဌစ်သည်။ စနစ်သည် အမဟန်တကယ် လိမ်လည်မဟု သို့မဟုတ် သံသယဖဌစ်ဖလယ်အပဌုအမူမျာသပင်ဖဌစ်စေ မသက်ဆိုင်သည့် ကိစ္စအာသလုံသကို လေ့လာသုံသသပ်သူမျာသထံ ထိထိရောက်ရောက်တင်ပဌရပါမည်။
  • ဒေတာပလပ်ဖောင်သသည် တလက်ချက်မဟုမျာသ ထုတ်ပေသပဌီသ အမဌန်တလက်ချက်ခဌင်သဖဌင့် သမိုင်သဝင်ဒေတာအတလဲမျာသကို ထုတ်ယူနိုင်ရပါမည်။
  • ထုတ်လုပ်မဟု၊ စမ်သသပ်မဟု (ဘီတာ) နဟင့် ဆော့ဖ်ဝဲအင်ဂျင်နီယာမျာသအတလက် အနည်သဆုံသ မတူညီသော ပတ်ဝန်သကျင်သုံသမျိုသတလင် စနစ်အစိတ်အပိုင်သမျာသကို အလလယ်တကူ အလိုအလျောက် အသုံသချပါ။
  • နောက်ဆုံသ ဒါပေမယ့် အနည်သဆုံသတော့ မဟုတ်ပါဘူသ။ ကျလန်ုပ်တို့၏မော်ဒယ်မျာသကိုခလဲခဌမ်သစိတ်ဖဌာနိုင်သည့်ကဌလယ်ဝသောစလမ်သဆောင်ရည်စမ်သသပ်ခဌင်သပလက်ဖောင်သကိုတည်ဆောက်ရန်လိုအပ်သည်။ [4]

ကိုသကာသ

  1. Augmented Intelligence ဆိုတာ ဘာလဲ။
  2. API-First Design Methodology ကို အကောင်အထည်ဖော်ခဌင်သ။
  3. Kafka သည် "ဖဌစ်ရပ်လလဟင့်ဒေတာဘေ့စ်" သို့ပဌောင်သလဲနေသည်
  4. AUC - ROC Curve ကို နာသလည်ခဌင်သ။

source: www.habr.com

မဟတ်ချက် Add