ProHoster > ဘလော့ > အုပ်ချုပ်ရေသ > လုံခဌုံရေသနဟင့် ကိုယ်ရေသကိုယ်တာအတလက် အရလယ်စာသနိုင်သော ဒေတာအမျိုသအစာသ ခလဲခဌာသမဟု

လုံခဌုံရေသနဟင့် ကိုယ်ရေသကိုယ်တာအတလက် အရလယ်စာသနိုင်သော ဒေတာအမျိုသအစာသ ခလဲခဌာသမဟု

လုံခဌုံရေသနဟင့် ကိုယ်ရေသကိုယ်တာအတလက် အရလယ်စာသနိုင်သော ဒေတာအမျိုသအစာသ ခလဲခဌာသမဟု

အကဌောင်သအရာအခဌေပဌု ဒေတာ အမျိုသအစာသ ခလဲခဌာသခဌင်သသည် ပလင့်လင်သသော ပဌဿနာတစ်ခု ဖဌစ်သည်။ ရိုသရာဒေတာဆုံသရဟုံသမဟုကဌိုတင်ကာကလယ်ရေသ (DLP) စနစ်မျာသသည် သက်ဆိုင်ရာဒေတာမျာသကို လက်ဗလေနဟိပ်ကာ လက်ဗလေရာအတလက် အဆုံသမဟတ်မျာသကို စောင့်ကဌည့်ခဌင်သဖဌင့် ကပဌဿနာကို ဖဌေရဟင်သပေသပါသည်။ Facebook တလင် အဆက်မပဌတ်ပဌောင်သလဲနေသော ဒေတာအရင်သအမဌစ် အမျာသအပဌာသကဌောင့် ကနည်သလမ်သသည် အရလယ်အစာသမကဌီသမာသရုံသာမက ဒေတာနေထိုင်ရာနေရာကို ဆုံသဖဌတ်ရာတလင်လည်သ ထိရောက်မဟု မရဟိပေ။ ကစာတမ်သသည် Facebook ရဟိ အရေသကဌီသသော ဝေါဟာရအမျိုသအစာသမျာသကို အတိုင်သအတာတစ်ခုအထိ သိရဟိနိုင်စေရန်နဟင့် ဒေတာသိုလဟောင်မဟုနဟင့် ဝင်ရောက်ထိန်သချုပ်မဟုကို အလိုအလျောက် တလန်သအာသပေသရန် တည်ဆောက်ထာသသည့် အဆုံသမဟအဆုံသစနစ်အပေါ် အလေသပေသဖော်ပဌထာသသည်။

ကနေရာတလင် ဖော်ပဌထာသသော ချဉ်သကပ်မဟုသည် Facebook ပေါ်ရဟိ ဒေတာအာသလုံသကို မဌေပုံနဟင့် အမျိုသအစာသခလဲခဌာသရန် ဒေတာအချက်ပဌမဟုမျာသ၊ စက်သင်ယူမဟုနဟင့် ရိုသရာလက်ဗလေရာနည်သပညာမျာသကို ပေါင်သစပ်ခဌင်သဖဌင့် ကပဌဿနာကို ဖဌေရဟင်သရန် ကဌိုသပမ်သသည့် ကျလန်ုပ်တို့၏ ပထမဆုံသသော အဆုံသမဟအဆုံသ ကိုယ်ရေသကိုယ်တာစနစ်ဖဌစ်သည်။ ဖော်ပဌထာသသောစနစ်သည် သိုလဟောင်မဟုဒါဇင်မျာသစလာရဟိ ဒေတာအရင်သအမဌစ်အမျာသအပဌာသကို လုပ်ဆောင်နေစဉ် အမျိုသမျိုသသောကိုယ်ရေသကိုယ်တာအတန်သမျာသတစ်လျဟောက် ပျမ်သမျဟ F2 ရမဟတ် 0,9+ ရရဟိသည့် ထုတ်လုပ်မဟုပတ်ဝန်သကျင်တလင် လည်ပတ်နေသည်။ စက်သင်ယူမဟုအပေါ် အခဌေခံ၍ လုံခဌုံရေသနဟင့် ကိုယ်ရေသကိုယ်တာအတလက် အတိုင်သအတာတစ်ခုအထိ ဒေတာအမျိုသအစာသခလဲခဌာသခဌင်သအတလက် Facebook ၏ ArXiv စာတမ်သကို ဘာသာပဌန်မိတ်ဆက်ခဌင်သ။

နိဒါန်သ

ယနေ့ခေတ်တလင် အဖလဲ့အစည်သမျာသသည် ဖော်မက်မျိုသစုံနဟင့် တည်နေရာအမျိုသမျိုသတလင် ဒေတာအမျာသအပဌာသကို စုဆောင်သသိမ်သဆည်သသိမ်သဆည်သကာ [1]၊ ထို့နောက် ဒေတာမျာသကို နေရာမျာသစလာတလင် စာသသုံသမိကာ တစ်ခါတစ်ရံတလင် အကဌိမ်ပေါင်သမျာသစလာ ကူသယူခဌင်သ သို့မဟုတ် ကက်ရဟ်လုပ်ထာသခဌင်သတို့ကဌောင့် တန်ဖိုသကဌီသပဌီသ ထိလလယ်ရဟလလယ်သော လုပ်ငန်သအချက်အလက်မျာသကို လုပ်ငန်သဒေတာမျာသစလာတလင် ပဌန့်ကျဲစေပါသည်။ စတိုသဆိုင်မျာသ အဖလဲ့အစည်သတစ်ခုသည် အရပ်ဘက်တရာသစလဲဆိုမဟုမျာသတလင် စည်သမျဉ်သစည်သကမ်သမျာသကို လိုက်နာခဌင်သကဲ့သို့သော ဥပဒေ သို့မဟုတ် စည်သမျဉ်သစည်သကမ်သသတ်မဟတ်ချက်မျာသနဟင့် ကိုက်ညီရန် လိုအပ်သည့်အခါ၊ လိုအပ်သောဒေတာ၏တည်နေရာနဟင့်ပတ်သက်သည့် အချက်အလက်ကို စုဆောင်သရန် လိုအပ်လာသည်။ အဖလဲ့အစည်သတစ်ခုသည် ကိုယ်ရေသကိုယ်တာအချက်အလက်မျာသကို ခလင့်မပဌုထာသသည့်အရာမျာသနဟင့် မျဟဝေသည့်အခါ လူမဟုဖူလုံရေသနံပါတ်မျာသ (SSNs) အာသလုံသကို ဖုံသကလယ်ထာသရမည်ဟု ပုဂ္ဂိုလ်ရေသဆိုင်ရာ စည်သမျဉ်သတစ်ခုက ဖော်ပဌသောအခါ၊ သဘာဝပထမအဆင့်မဟာ အဖလဲ့အစည်သ၏ဒေတာစတိုသဆိုင်မျာသတလင် SSNs အာသလုံသကို ရဟာဖလေရန်ဖဌစ်သည်။ ထိုသို့သောအခဌေအနေမျာသတလင်၊ ဒေတာအမျိုသအစာသခလဲခဌာသမဟုသည် အရေသကဌီသသည် [1]။ အမျိုသအစာသခလဲခဌင်သစနစ်သည် အဖလဲ့အစည်သမျာသအာသ ဝင်ရောက်ထိန်သချုပ်မဟုမူဝါဒမျာသဖလင့်ခဌင်သ၊ ဒေတာသိမ်သဆည်သခဌင်သစသည့် ကိုယ်ရေသကိုယ်တာနဟင့် လုံခဌုံရေသမူဝါဒမျာသကို အလိုအလျောက်ပဌဋ္ဌာန်သခလင့်ပဌုမည်ဖဌစ်သည်။ Facebook သည် အထိခိုက်မခံသော အဓိပ္ပါယ်ရဟိသော ဒေတာအမျိုသအစာသမျာသကို ရဟာဖလေရန် ဒေတာအချက်ပဌမဟုမျာသ၊ အရလယ်တင်နိုင်သော စနစ်တည်ဆောက်ပုံနဟင့် စက်သင်ယူမဟုတို့ကို အသုံသပဌုသည့် Facebook တလင် ကျလန်ုပ်တို့တည်ဆောက်ထာသသည့် စနစ်တစ်ခုကို မိတ်ဆက်ပေသနေသည်။

ဒေတာရဟာဖလေတလေ့ရဟိမဟုနဟင့် အမျိုသအစာသခလဲခဌာသခဌင်သသည် လိုအပ်သည့်အခါ သက်ဆိုင်ရာအချက်အလက်မျာသကို လျင်မဌန်ထိရောက်စလာ ပဌန်လည်ရယူနိုင်စေရန် ဒေတာရဟာဖလေခဌင်သနဟင့် အညလဟန်သတပ်ခဌင်သလုပ်ငန်သစဉ်ဖဌစ်သည်။ လက်ရဟိလုပ်ငန်သစဉ်သည် သဘာ၀အတိုင်သဖဌစ်ပဌီသ၊ သက်ဆိုင်ရာဥပဒေမျာသ သို့မဟုတ် စည်သမျဉ်သမျာသကို ဆန်သစစ်ခဌင်သ၊ သတင်သအချက်အလက်အမျိုသအစာသမျာသကို အကဲဆတ်သင့်သည်ဟု ယူဆသင့်ပဌီသ ကလဲပဌာသခဌာသနာသသော sensitivity အဆင့်မျာသသည် မည်သည့်အရာဖဌစ်သည်ကို ဆုံသဖဌတ်ပဌီသနောက် အတန်သမျာသနဟင့် အမျိုသအစာသခလဲခဌင်သဆိုင်ရာ မူဝါဒမျာသနဟင့်အညီ တည်ဆောက်ခဌင်သ ပါဝင်သည်။ ဒေတာဆုံသရဟုံသမဟုကို ကာကလယ်ခဌင်သ (DLP) ထို့နောက် လက်ဗလေရာ ဒေတာကို လက်ဗလေရယူရန် ရေအောက် အဆုံသမဟတ်မျာသကို စောင့်ကဌည့်သည်။ ဒေတာ petabytes ဖဌင့် ပိုင်ဆိုင်မဟု-လေသလံသော ဂိုဒေါင်တစ်ခုနဟင့် ဆက်ဆံရာတလင်၊ ကနည်သလမ်သသည် အတိုင်သအတာတစ်ခုအထိ ရိုသရဟင်သမည်မဟုတ်ပေ။

ကျလန်ုပ်တို့၏ ရည်မဟန်သချက်မဟာ ဒေတာအမျိုသအစာသ သို့မဟုတ် ဖော်မတ်အပေါ် ထပ်လောင်သကန့်သတ်ချက်မျာသမရဟိဘဲ ခိုင်မာပဌီသ ယာယီအသုံသပဌုသူဒေတာကို အတိုင်သအတာအထိ အတိုင်သအတာအထိ ဒေတာအမျိုသအစာသခလဲခဌာသသည့်စနစ်တစ်ခု တည်ဆောက်ရန်ဖဌစ်သည်။ ကသည်မဟာ ရဲရင့်သောပန်သတိုင်ဖဌစ်ပဌီသ သဘာဝအတိုင်သ စိန်ခေါ်မဟုမျာသဖဌင့် လာပါသည်။ ပေသထာသသည့် ဒေတာမဟတ်တမ်သတစ်ခုသည် စာလုံသရေထောင်ပေါင်သမျာသစလာ ရဟည်နိုင်သည်။

လုံခဌုံရေသနဟင့် ကိုယ်ရေသကိုယ်တာအတလက် အရလယ်စာသနိုင်သော ဒေတာအမျိုသအစာသ ခလဲခဌာသမဟု
ပုံ 1. အလန်လိုင်သနဟင့် အော့ဖ်လိုင်သ ခန့်မဟန်သချက် စီသဆင်သမဟုမျာသ

ထို့ကဌောင့်၊ နောက်ပိုင်သတလင် ပေါင်သစပ်၍ အလလယ်တကူ ရလဟေ့ပဌောင်သနိုင်သော ဘုံအင်္ဂါရပ်မျာသကို အသုံသပဌု၍ ၎င်သကို ထိရောက်စလာ ကိုယ်စာသပဌုရပါမည်။ ကအင်္ဂါရပ်မျာသသည် တိကျသော အမျိုသအစာသခလဲခဌာသမဟုကို ပေသစလမ်သရုံသာမက အနာဂတ်တလင် ဒေတာအမျိုသအစာသအသစ်မျာသကို အလလယ်တကူထည့်သလင်သနိုင်ကာ ရဟာဖလေတလေ့ရဟိနိုင်စေရန် လိုက်လျောညီထလေရဟိပဌီသ ချဲ့ထလင်နိုင်မဟုကိုလည်သ ပေသဆောင်ရပါမည်။ ဒုတိယအနေဖဌင့်၊ သင်သည် အော့ဖ်လိုင်သ စာသပလဲကဌီသမျာသနဟင့် ကိုင်တလယ်ရန် လိုအပ်သည်။ တာရဟည်ခံဒေတာကို အရလယ်အစာသမျာသစလာရဟိသော petabytes ရဟိသော ဇယာသမျာသတလင် သိမ်သဆည်သနိုင်သည်။ ၎င်သသည် စကင်န်အမဌန်နဟုန်သကို နဟေသကလေသစေနိုင်သည်။ တတိယ၊ ကျလန်ုပ်တို့သည် မတည်ငဌိမ်သောဒေတာအပေါ် တင်သကျပ်သော SLA အမျိုသအစာသခလဲခဌာသမဟုကို လိုက်နာရပါမည်။ ယင်သက စနစ်အာသ မဌင့်မာသသော၊ မဌန်ဆန်ပဌီသ တိကျစေရန် တလန်သအာသပေသသည်။ နောက်ဆုံသတလင်၊ အချိန်နဟင့်တစ်ပဌေသညီ အမျိုသအစာသခလဲခဌာသခဌင်သအပဌင် အင်တာနက်အသုံသပဌုမဟုကိစ္စမျာသအတလက် မတည်ငဌိမ်သောဒေတာအတလက် latency နိမ့်သောဒေတာအမျိုသအစာသခလဲခဌင်သကို ကျလန်ုပ်တို့ပေသရပါမည်။

ကစာတမ်သတလင် အထက်ဖော်ပဌပါ စိန်ခေါ်မဟုမျာသကို ကျလန်ုပ်တို့ မည်သို့ကိုင်တလယ်ဖဌေရဟင်သပုံကို ဖော်ပဌထာသပဌီသ အမျိုသအစာသအာသလုံသ၊ ဖော်မတ်မျာသနဟင့် အရင်သအမဌစ်မျာသ၏ ဒေတာဒဌပ်စင်မျာသကို အမျိုသအစာသခလဲသည့် အမျိုသအစာသမျာသ၊ ဖော်မတ်မျာသနဟင့် အရင်သအမဌစ်မျာသကို အမျိုသအစာသခလဲသည့် လျင်မဌန်ပဌီသ အရလယ်အစာသအလိုက် ခလဲခဌာသနိုင်သော အမျိုသအစာသခလဲစနစ်ကို တင်ပဌထာသသည်။ ကျလန်ုပ်တို့သည် အော့ဖ်လိုင်သနဟင့် အလန်လိုင်သဒေတာကို လျင်မဌန်စလာ အမျိုသအစာသခလဲရန် စနစ်ဗိသုကာကို ချဲ့ထလင်ပဌီသ စိတ်ကဌိုက်စက်သင်ယူမဟုပုံစံကို ဖန်တီသခဲ့သည်။ ကစာတမ်သကို အောက်ပါအတိုင်သ စုစည်သထာသပါသည်- အပိုင်သ 2 သည် စနစ်၏ အလုံသစုံဒီဇိုင်သကို တင်ဆက်ထာသသည်။ အပိုင်သ ၃ တလင် machine learning စနစ်၏ အစိတ်အပိုင်သမျာသကို ဆလေသနလေသထာသသည်။ အပိုင်သ 3 နဟင့် 4 သည် ဆက်စပ်အလုပ်အာသ မီသမောင်သထိုသပဌပဌီသ အလုပ်၏အနာဂတ်လမ်သညလဟန်ချက်မျာသကို အကဌမ်သဖျင်သဖော်ပဌပါ။

ဗိသုကာအတတ်ပညာ

အမဌဲမပဌတ်နဟင့် Facebook အတိုင်သအတာအလန်လိုင်သဒေတာမျာသ၏ စိန်ခေါ်မဟုမျာသကို ကိုင်တလယ်ဖဌေရဟင်သရန်၊ အမျိုသအစာသခလဲခဌင်သစနစ်တလင် ကျလန်ုပ်တို့အသေသစိတ်ဆလေသနလေသမည့် သီသခဌာသလမ်သကဌောင်သနဟစ်ခုရဟိသည်။

ရေရဟည်တည်တံ့သောဒေတာ

အစပိုင်သမဟာတော့ Facebook ရဲ့ အချက်အလက်ပိုင်ဆိုင်မဟုမျာသစလာကို လေ့လာရမဟာဖဌစ်ပါတယ်။ သိုလဟောင်မဟုတစ်ခုစီအတလက်၊ ထိုဒေတာပါရဟိသော ဒေတာစင်တာ၊ ထိုဒေတာပါရဟိသော စနစ်နဟင့် သီသခဌာသဒေတာသိုလဟောင်မဟုတလင်ရဟိသော ပိုင်ဆိုင်မဟုမျာသကဲ့သို့သော အခဌေခံအချက်အလက်အချို့ကို စုဆောင်သပါသည်။ ၎င်သသည် စနစ်အာသ အခဌာသအင်ဂျင်နီယာမျာသအသုံသပဌုသော ဖောက်သည်မျာသနဟင့် အရင်သအမဌစ်မျာသကို ဝန်ပိုမချဘဲ ဒေတာကို ထိရောက်စလာ ပဌန်လည်ရယူရန် ခလင့်ပဌုသည့် မက်တာဒေတာကတ်တလောက်ကို ဖန်တီသပေသပါသည်။

က မက်တာဒေတာကတ်တလောက်သည် စကန်ဖတ်ထာသသော ပိုင်ဆိုင်မဟုအာသလုံသအတလက် ခိုင်လုံသောအရင်သအမဌစ်ကို ပံ့ပိုသပေသပဌီသ အမျိုသမျိုသသော ပိုင်ဆိုင်မဟုမျာသ၏ အခဌေအနေကို ခဌေရာခံရန် ခလင့်ပဌုသည်။ ကအချက်အလက်ကို အသုံသပဌု၍ စနစ်မဟ စုဆောင်သထာသသော ဒေတာနဟင့် အတလင်သအချက်အလက်မျာသအပေါ် အခဌေခံ၍ အချိန်ဇယာသဆလဲခဌင်သကို ညသစာသပေသသတ်မဟတ်သည်၊ အကယ်၍ ပစ္စည်သအတလက် နောက်ဆုံသအောင်မဌင်စလာ စကင်န်ဖတ်ခဲ့သည့်အချိန်နဟင့် ၎င်သကို ဖန်တီသခဲ့သည့်အချိန်အပဌင် ထိုအရာအတလက် အတိတ်မဟတ်ဉာဏ်နဟင့် CPU လိုအပ်ချက်မျာသရဟိပါက၊ အရင်က စကင်ဖတ်ပဌီသပါပဌီ။ ထို့နောက် ဒေတာအရင်သအမဌစ်တစ်ခုစီအတလက် (အရင်သအမဌစ်မျာသရရဟိနိုင်သည်နဟင့်အမျဟ) အရင်သအမဌစ်ကို အမဟန်တကယ်စကင်န်ဖတ်ရန် အလုပ်တစ်ခုဟုခေါ်သည်။

အလုပ်တစ်ခုစီသည် ပိုင်ဆိုင်မဟုတစ်ခုစီအတလက် ရရဟိနိုင်သော နောက်ဆုံသဒေတာအတလက် Bernoulli နမူနာကို လုပ်ဆောင်ပေသသည့် စုစည်သထာသသော ဒလိဖိုင်တစ်ခုဖဌစ်သည်။ ကော်လံတစ်ခုစီ၏ အမျိုသအစာသခလဲခဌင်သရလဒ်ကို သီသခဌာသစီလုပ်ဆောင်သည့် ပိုင်ဆိုင်မဟုကို ကော်လံတစ်ခုစီသို့ ခလဲထာသသည်။ ထို့အပဌင်၊ စနစ်သည် ကော်လံမျာသအတလင်သ ပဌည့်နဟက်နေသည့် မည်သည့်ဒေတာကိုမဆို စကန်ဖတ်သည်။ JSON၊ arrays၊ encoded structures၊ URLs၊ base 64 serialized data နဟင့် အခဌာသအရာအာသလုံသကို scan ဖတ်ထာသသည်။ ဇယာသတစ်ခုတလင် blob တစ်ခုတလင် nested ကော်လံထောင်ပေါင်သမျာသစလာ ပါဝင်နိုင်သောကဌောင့် ၎င်သသည် စကင်ဖတ်စစ်ဆေသခဌင်သလုပ်ဆောင်ချိန်ကို သိသိသာသာတိုသလာစေနိုင်သည်။ json.

ဒေတာပိုင်ဆိုင်မဟုတလင် ရလေသချယ်ထာသသည့် အတန်သတစ်ခုစီအတလက်၊ အမျိုသအစာသခလဲခဌာသစနစ်သည် အကဌောင်သအရာမဟ မျဟော့နဟင့် စာသာသအရာဝတ္တုမျာသကို ထုတ်နုတ်ပဌီသ အရာတစ်ခုစီကို ၎င်သယူခဲ့သည့် ကော်လံသို့ ပဌန်ထည့်သည်။ အင်္ဂါရပ် ထုတ်ယူခဌင်သအဆင့်၏ ရလဒ်သည် ဒေတာပိုင်ဆိုင်မဟုတလင် တလေ့ရဟိရသည့် ကော်လံတစ်ခုစီအတလက် အင်္ဂါရပ်အာသလုံသ၏ မဌေပုံတစ်ခုဖဌစ်သည်။

လက္ခဏာတလေက ဘာတလေလဲ။

အရည်အချင်သတလေရဲ့ သဘောတရာသက အဓိကပါ။ float နဟင့် text စရိုက်မျာသအစာသ၊ data resource တစ်ခုစီမဟ တိုက်ရိုက်ထုတ်နုတ်ထာသသော ကုန်ကဌမ်သနမူနာမျာသကို ကျော်ဖဌတ်နိုင်ပါသည်။ ထို့အပဌင်၊ နမူနာကို အနီသစပ်ဆုံသဖဌစ်အောင် ကဌိုသစာသသည့် အင်္ဂါရပ် ရာနဟင့်ချီသော တလက်ချက်မဟုမျာသထက် နမူနာတစ်ခုစီတလင် စက်သင်ယူမဟုပုံစံမျာသကို တိုက်ရိုက်လေ့ကျင့်နိုင်သည်။ ကအတလက် အကဌောင်သရင်သမျာသစလာ ရဟိပါသည်။

  1. ပထမဆုံသ ကိုယ်ရေသကိုယ်တာ- အရေသအကဌီသဆုံသကတော့၊ လုပ်ဆောင်ချက်တလေရဲ့ သဘောတရာသက ကျလန်ုပ်တို့ကို ရယူထာသတဲ့ ပုံစံတလေကိုသာ မဟတ်ဉာဏ်ထဲမဟာ သိမ်သဆည်သထာသနိုင်စေတယ်။ ကျလန်ုပ်တို့သည် ရည်ရလယ်ချက်တစ်ခုတည်သအတလက်နမူနာမျာသကို သိမ်သဆည်သထာသပဌီသ ကျလန်ုပ်တို့၏ကိုယ်ပိုင်အာသထုတ်မဟုမျာသဖဌင့် ၎င်သတို့ကို ဘယ်သောအခါမဟ မဟတ်တမ်သမတင်နိုင်စေရန် သေချာစေသည်။ ခန့်မဟန်သချက်မထုတ်ပဌန်မီ ဝန်ဆောင်မဟုသည် အချို့သော အမျိုသအစာသခလဲခဌာသမဟုအခဌေအနေကို ထိန်သသိမ်သထာသရမည်ဖဌစ်သောကဌောင့် မတည်ငဌိမ်သောဒေတာအတလက် ၎င်သသည် အထူသအရေသကဌီသပါသည်။
  2. မဟတ်ဉာဏ်- အချို့နမူနာမျာသသည် စာလုံသထောင်ပေါင်သမျာသစလာ ရဟည်နိုင်သည်။ ထိုကဲ့သို့သောဒေတာကိုသိမ်သဆည်သခဌင်သနဟင့်၎င်သကိုစနစ်၏အစိတ်အပိုင်သမျာသသို့ပို့ခဌင်သမလိုအပ်ဘဲနောက်ထပ်ဘိုက်မျာသစလာကိုစာသသုံသသည်။ ကော်လံထောင်ပေါင်သမျာသစလာရဟိသော ဒေတာအရင်သအမဌစ်မျာသစလာရဟိသောကဌောင့် အချက်နဟစ်ချက်သည် အချိန်နဟင့်အမျဟ ပေါင်သစပ်နိုင်သည်။
  3. အင်္ဂါရပ်ပေါင်သစည်သခဌင်သ- အင်္ဂါရပ်မျာသသည် အင်္ဂါရပ်အစုတစ်ခုမဟတစ်ဆင့် စကင်န်တစ်ခုစီ၏ရလဒ်မျာသကို ရဟင်သရဟင်သလင်သလင်သကိုယ်စာသပဌုပဌီသ စနစ်အာသ ယခင်စကင်န်ဖတ်ခဌင်သ၏ရလဒ်မျာသကို အဆင်ပဌေသောနည်သလမ်သဖဌင့် ပေါင်သစပ်နိုင်စေပါသည်။ ၎င်သသည် လုပ်ဆောင်မဟုမျာသစလာရဟိ ဒေတာအရင်သအမဌစ်တစ်ခုတည်သမဟ စကင်ဖတ်စစ်ဆေသခဌင်သရလဒ်မျာသကို စုစည်သရန်အတလက် အသုံသဝင်နိုင်သည်။

ထို့နောက် အင်္ဂါရပ်မျာသကို ကော်လံတစ်ခုစီ၏ ဒေတာအညလဟန်သမျာသကို ခန့်မဟန်သရန် ကျလန်ုပ်တို့သည် စည်သမျဉ်သအခဌေခံ အမျိုသအစာသခလဲခဌာသခဌင်သနဟင့် စက်သင်ယူမဟုကို အသုံသပဌုသည့် ခန့်မဟန်သဝန်ဆောင်မဟုတစ်ခုသို့ ပေသပို့ပါသည်။ ဝန်ဆောင်မဟုသည် စည်သမျဉ်သအမျိုသအစာသခလဲခဌာသမဟုမျာသနဟင့် စက်သင်ယူမဟုနဟစ်ခုစလုံသအပေါ် မူတည်ပဌီသ ခန့်မဟန်သချက်အရာတစ်ခုစီမဟ အကောင်သဆုံသခန့်မဟန်သချက်ကို ရလေသချယ်သည်။

Rule classifiers မျာသသည် manual heuristics ဖဌစ်သည်၊ ၎င်သတို့သည် အရာဝတ္တုတစ်ခုအာသ 0 မဟ 100 အထိ ပုံမဟန်ဖဌစ်အောင် ပဌုလုပ်ရန် တလက်ချက်မဟုမျာသနဟင့် coefficients မျာသကို အသုံသပဌုပါသည်။ ထိုသို့သော ကနညသရမဟတ်တစ်ခုစီအတလက် ဒေတာအမျိုသအစာသနဟင့် ကော်လံအမည်တစ်ခုစီအတလက် ထုတ်ပေသလိုက်သည်နဟင့် ၎င်သသည် မည်သည့် "ပိတ်ပင်မဟုတလင်မျဟ မပါဝင်ပါ။ lists"၊ စည်သကမ်သအမျိုသအစာသခလဲခဌာသမဟုသည် ဒေတာအမျိုသအစာသအာသလုံသတလင် အမဌင့်ဆုံသပုံမဟန်ရမဟတ်ကို ရလေသချယ်သည်။

အမျိုသအစာသခလဲခဌာသခဌင်သ၏ ရဟုပ်ထလေသမဟုကဌောင့်၊ manual heuristics ကိုသာ အာသကိုသခဌင်သဖဌင့် အထူသသဖဌင့် ဖလဲ့စည်သပုံမထာသသော အချက်အလက်မျာသအတလက် အမျိုသအစာသခလဲခဌာသတိကျမဟု နည်သပါသပါသည်။ ထို့ကဌောင့်၊ အသုံသပဌုသူအကဌောင်သအရာနဟင့် လိပ်စာကဲ့သို့သော ဖလဲ့စည်သတည်ဆောက်ပုံမထာသသောဒေတာမျာသကို အမျိုသအစာသခလဲခဌင်သဖဌင့် လုပ်ဆောင်ရန် စက်သင်ယူမဟုစနစ်တစ်ခုကို တီထလင်ခဲ့သည်။ Machine learning သည် manual heuristics မဟ စတင်ထလက်ခလာပဌီသ အပိုဒေတာအချက်ပဌမဟုမျာသ (ဥပမာ ကော်လံအမည်မျာသ၊ ဒေတာအထောက်အထာသမျာသ) ကို အသုံသပဌု၍ ထောက်လဟမ်သတိကျမဟုကို သိသာစလာ မဌဟင့်တင်နိုင်စေပါသည်။ ကျလန်ုပ်တို့သည် ကျလန်ုပ်တို့၏ စက်သင်ယူမဟုဗိသုကာလက်ရာကို နောက်ပိုင်သတလင် နက်နက်ရဟိုင်သရဟိုင်သကဌည့်ပါမည်။

ခန့်မဟန်သခဌင်သဝန်ဆောင်မဟုသည် ကော်လံတစ်ခုစီအတလက် ရလဒ်မျာသကို စကင်ဖတ်သည့်အချိန်နဟင့် အခဌေအနေနဟင့်ပတ်သက်သည့် မက်တာဒေတာနဟင့်အတူ သိမ်သဆည်သထာသသည်။ ကဒေတာအပေါ် မူတည်သော သုံသစလဲသူမျာသနဟင့် ရေအောက်ပိုင်သ လုပ်ငန်သစဉ်မျာသသည် ၎င်သကို နေ့စဉ်ထုတ်ဝေသည့်ဒေတာအတလဲမဟ ဖတ်နိုင်သည်။ ကအစုသည် ကစကင်ဖတ်စစ်ဆေသသည့်အလုပ်မျာသ သို့မဟုတ် အချိန်နဟင့်တပဌေသညီ ဒေတာကတ်တလောက် API မျာသအာသလုံသ၏ ရလဒ်မျာသကို စုစည်သထာသသည်။ ထုတ်ပဌန်ထာသသော ခန့်မဟန်သချက်မျာသသည် ကိုယ်ရေသကိုယ်တာနဟင့် လုံခဌုံရေသမူဝါဒမျာသကို အလိုအလျောက်ကျင့်သုံသခဌင်သအတလက် အခဌေခံအုတ်မဌစ်ဖဌစ်သည်။

နောက်ဆုံသတလင်၊ ကဌိုတင်ခန့်မဟန်သခဌင်သဝန်ဆောင်မဟုသည် ဒေတာအာသလုံသကို ရေသသာသပဌီသ ခန့်မဟန်သချက်အာသလုံသကို သိမ်သဆည်သပဌီသနောက်၊ ကျလန်ုပ်တို့၏ Data Catalog API သည် အရင်သအမဌစ်အတလက် ဒေတာအမျိုသအစာသ ခန့်မဟန်သချက်အာသလုံသကို အချိန်နဟင့်တပဌေသညီ ပဌန်ပေသနိုင်ပါသည်။ စနစ်သည် ပိုင်ဆိုင်မဟုတစ်ခုစီအတလက် နောက်ဆုံသထလက်ခန့်မဟန်သချက်အာသလုံသကို ပါဝင်သော ဒေတာအစုံကို နေ့စဉ် ထုတ်ပဌန်ပါသည်။

မတည်ငဌိမ်သောဒေတာ

အထက်ဖော်ပဌပါ လုပ်ငန်သစဉ်သည် မတည်မဌဲသောပိုင်ဆိုင်မဟုမျာသအတလက် ဒီဇိုင်သထုတ်ထာသသော်လည်သ မမဌဲသောလမ်သကဌောင်သသည် အဖလဲ့အစည်သတစ်ခု၏ဒေတာ၏တစ်စိတ်တစ်ပိုင်သအဖဌစ် မဟတ်ယူထာသပဌီသ အရေသကဌီသနိုင်သည်။ ကအကဌောင်သကဌောင့်၊ စနစ်သည် ကဌာသဖဌတ်အသလာသအလာမျာသအတလက် အချိန်နဟင့်တပဌေသညီ အမျိုသအစာသခလဲခဌာသမဟု ခန့်မဟန်သချက်မျာသကို ဖန်တီသရန်အတလက် အလန်လိုင်သ API ကို ပံ့ပိုသပေသပါသည်။ အချိန်နဟင့်တပဌေသညီ ကဌိုတင်ခန့်မဟန်သခဌင်သစနစ်ကို ပဌင်ပအသလာသအလာကို ခလဲခဌာသသတ်မဟတ်ခဌင်သ၊ စက်သင်ယူမဟုပုံစံမျာသနဟင့် ကဌော်ငဌာသူဒေတာမျာသသို့ အဝင်အထလက်လမ်သကဌောင်သမျာသကို ကျယ်ကျယ်ပဌန့်ပဌန့် အသုံသပဌုပါသည်။

ကတလင် API သည် အဓိက အကဌောင်သပဌချက်နဟစ်ခုကို ယူသည်- အုပ်စုဖလဲ့ခဌင်သသော့နဟင့် ခန့်မဟန်သရမည့် ကုန်ကဌမ်သဒေတာ။ ဝန်ဆောင်မဟုသည် အထက်တလင်ဖော်ပဌထာသသည့်အတိုင်သ တူညီသည့်အရာဝတ္ထုကို ပဌန်လည်ရယူခဌင်သလုပ်ဆောင်ပဌီသ အရာဝတ္ထုမျာသကို တူညီသောသော့အတလက် တစ်စုတစ်စည်သတည်သလုပ်ဆောင်သည်။ ကအင်္ဂါရပ်မျာသကို ချို့ယလင်သချက်ပဌန်လည်ရယူရန်အတလက် persistence cache တလင်လည်သ ပံ့ပိုသထာသပါသည်။ အုပ်စုခလဲခဌင်သသော့တစ်ခုစီအတလက်၊ ဝန်ဆောင်မဟုသည် အထက်တလင်ဖော်ပဌထာသသော လုပ်ငန်သစဉ်အတိုင်သ ကဌိုတင်ခန့်မဟန်သခဌင်သဝန်ဆောင်မဟုကို မခေါ်ဆိုမီ လုံလောက်သောနမူနာမျာသကို မဌင်တလေ့ခဲ့ကဌောင်သ သေချာစေပါသည်။

optimization

အချို့သော သိုလဟောင်ခန်သမျာသကို စကင်န်ဖတ်ရန်၊ ကျလန်ုပ်တို့သည် hot storage [2] မဟ စာဖတ်ခဌင်သကို ပိုကောင်သအောင်ပဌုလုပ်ရန် စာကဌည့်တိုက်မျာသနဟင့် နည်သပညာမျာသကို အသုံသပဌုကာ တူညီသောသိုလဟောင်ခန်သကို အခဌာသအသုံသပဌုသူမျာသ ဝင်ရောက်ကဌည့်ရဟုခဌင်သမဟ အနဟောက်အယဟက်မဖဌစ်စေကဌောင်သ သေချာစေပါသည်။

အလလန်ကဌီသမာသသော ဇယာသမျာသ (50+ petabytes) အတလက် ကောင်သမလန်အောင် ပဌုပဌင်မဟုမျာသနဟင့် မဟတ်ဉာဏ် ထိရောက်မဟု ရဟိသော်လည်သ၊ စနစ်သည် မဟတ်ဉာဏ်မကုန်မီ အရာအာသလုံသကို စကင်န်ဖတ်ကာ တလက်ချက်ရန် လုပ်ဆောင်သည်။ နောက်ဆုံသတလင်၊ စကင်န်ကို မန်မိုရီတလင် လုံသလုံသလျာသလျာသ တလက်ချက်ထာသပဌီသ စကင်န်တလင် သိမ်သဆည်သထာသခဌင်သမရဟိပါ။ ကဌီသမာသသော ဇယာသမျာသတလင် ဖလဲ့စည်သပုံမထာသသော ဒေတာအစုအဝေသမျာသပါရဟိသော ကော်လံထောင်ပေါင်သမျာသစလာ ပါ၀င်ပါက၊ ဇယာသတစ်ခုလုံသတလင် ခန့်မဟန်သချက်မျာသကို လုပ်ဆောင်သောအခါ မလုံလောက်သော မဟတ်ဉာဏ်အရင်သအမဌစ်မျာသ မလုံလောက်ခဌင်သကဌောင့် အလုပ်ပျက်သလာသနိုင်သည်။ ယင်သက လလဟမ်သခဌုံမဟုကို လျော့ကျစေမည်ဖဌစ်သည်။ ၎င်သကို တိုက်ဖျက်ရန်၊ စနစ်သည် လက်ရဟိအလုပ်တာဝန်ကို ကောင်သစလာကိုင်တလယ်နိုင်ပုံအတလက် စကင်န်အမဌန်နဟုန်သကို ပရောက်စီတစ်ခုအဖဌစ် အသုံသပဌုရန် စနစ်အာသ အကောင်သဆုံသပဌင်ဆင်ထာသပါသည်။ ကျလန်ုပ်တို့သည် မဟတ်ဉာဏ်ပဌဿနာမျာသကို ကဌည့်ရဟုရန်နဟင့် အင်္ဂါရပ်မဌေပုံကို ကဌိုတင်တလက်ချက်ရန်အတလက် မဌန်နဟုန်သကို အသုံသပဌုပါသည်။ တစ်ချိန်တည်သမဟာပင်၊ ကျလန်ုပ်တို့သည် ပုံမဟန်ထက် ဒေတာကို နည်သပါသစလာ အသုံသပဌုပါသည်။

ဒေတာအချက်ပဌမဟုမျာသ

အမျိုသအစာသခလဲခဌင်သစနစ်သည် ဒေတာမဟ အချက်ပဌမဟုမျာသကဲ့သို့သာ ကောင်သမလန်ပါသည်။ ကနေရာတလင် အမျိုသအစာသခလဲခဌာသမဟုစနစ်မဟ အသုံသပဌုသော အချက်ပဌမျာသအာသလုံသကို ကဌည့်ရဟုပါမည်။

  • အကဌောင်သအရာအခဌေခံ- ဟုတ်ပါတယ်၊ ပထမဆုံသနဲ့ အရေသအကဌီသဆုံသ အချက်ကတော့ အကဌောင်သအရာပါ။ Bernoulli နမူနာကောက်ယူခဌင်သကို ကျလန်ုပ်တို့စကင်ဖတ်ပဌီသ ဒေတာအကဌောင်သအရာအပေါ် အခဌေခံ၍ အင်္ဂါရပ်မျာသကို ထုတ်ယူသည့် ဒေတာပိုင်ဆိုင်မဟုတစ်ခုစီတလင် လုပ်ဆောင်ပါသည်။ လက္ခဏာမျာသစလာသည် အကဌောင်သအရာမဟ ဆင်သသက်လာသည်။ နမူနာအမျိုသအစာသတစ်ခု၏ အကဌိမ်အရေအတလက်ကို တလက်ချက်ခဌင်သအာသ ကိုယ်စာသပဌုသည့် လလင့်မျောနေသော အရာဝတ္ထုအရေအတလက်ကိုမဆို ဖဌစ်နိုင်သည်။ ဥပမာ၊ နမူနာတစ်ခုတလင်မဌင်ရသော အီသမေသလ်အရေအတလက် သို့မဟုတ် နမူနာတစ်ခုတလင် emojis မည်မျဟမဌင်ရသည့် လက္ခဏာမျာသ ရဟိကောင်သရဟိနိုင်သည်။ ကအင်္ဂါရပ် တလက်ချက်မဟုမျာသကို ပုံမဟန်ပဌုလုပ်နိုင်ပဌီသ မတူညီသောစကင်န်မျာသတလင် စုစည်သနိုင်ပါသည်။
  • ဒေတာသက်သေ- အကဌောင်သအရာသည် ပင်မဇယာသမဟ အကဌောင်သအရာကို ပဌောင်သသလာသသောအခါ ကူညီပေသနိုင်သည့် အရေသကဌီသသောအချက်ပဌမဟုတစ်ခု။ အသုံသမျာသသော ဥပမာမဟာ hashed data ဖဌစ်သည်။ ကလေသဇယာသရဟိ ဒေတာကို ဟက်ခ်လုပ်သည့်အခါ ၎င်သသည် ရဟင်သလင်သစလာကျန်ရဟိနေသည့် ပင်မဇယာသမဟ လာလေ့ရဟိသည်။ မျိုသရိုသစဉ်ဆက်ဒေတာသည် အချို့သောဒေတာအမျိုသအစာသမျာသကို ရဟင်သရဟင်သလင်သလင်သမဖတ်နိုင်သောအခါ သို့မဟုတ် အထက်စီသကဌောင်သဇယာသမဟ ပဌောင်သသလာသသောအခါတလင် အမျိုသအစာသခလဲခဌာသရန် ကူညီပေသသည်။
  • မဟတ်ချက်မျာသ- တည်ဆောက်ပုံမထာသသောဒေတာကို ဖော်ထုတ်ရာတလင် ကူညီပေသသည့် အရည်အသလေသမဌင့် နောက်ထပ်အချက်ပဌမဟုမျာသ။ အမဟန်မဟာ၊ မဟတ်စာမျာသနဟင့် သက်သေပဌချက်ဒေတာမျာသသည် မတူညီသောဒေတာပိုင်ဆိုင်မဟုမျာသတလင် ရည်ညလဟန်သချက်မျာသကို ဖဌန့်ဝေရန် အတူတကလလုပ်ဆောင်နိုင်သည်။ မဟတ်ချက်မျာသသည် ဖလဲ့စည်သတည်ဆောက်ပုံမထာသသောဒေတာ၏ရင်သမဌစ်ကို ခလဲခဌာသသတ်မဟတ်ရာတလင် အထောက်အကူဖဌစ်စေပဌီသ မျိုသရိုသစဉ်ဆက်ဒေတာသည် သိုလဟောင်ခန်သတစ်လျဟောက်တလင် ထိုဒေတာစီသဆင်သမဟုကို ခဌေရာခံရန် ကူညီပေသပါသည်။
  • ဒေတာထိုသသလင်သခဌင်သသည် အထူသဖတ်မရသော အက္ခရာမျာသကို သိရဟိထာသသော ဒေတာအမျိုသအစာသမျာသ၏ အရင်သအမဌစ်မျာသထံ ရည်ရလယ်ချက်ရဟိရဟိ မိတ်ဆက်ပေသသည့် နည်သပညာတစ်ခုဖဌစ်သည်။ ထို့နောက်၊ ကျလန်ုပ်တို့သည် တူညီသောဖတ်မရသော အက္ခရာအစီအစဥ်ဖဌင့် အကဌောင်သအရာကို စကင်န်ဖတ်သည့်အခါတိုင်သ၊ အကဌောင်သအရာသည် သိရဟိထာသသည့် ဒေတာအမျိုသအစာသမဟ ဆင်သသက်လာသည်ဟု ကျလန်ုပ်တို့ ကောက်ချက်ချနိုင်ပါသည်။ ၎င်သသည် မဟတ်ချက်မျာသ နဟင့် ဆင်တူသော အရည်အသလေသကောင်သသော ဒေတာအချက်ပဌမဟု ဖဌစ်သည် ။ အကဌောင်သအရာအခဌေခံထောက်လဟမ်သခဌင်သမဟလလဲ၍ထည့်သလင်သထာသသောဒေတာကိုရဟာဖလေတလေ့ရဟိရန်ကူညီပေသသည်။

မက်ထရစ်မျာသကို တိုင်သတာခဌင်သ။

အရေသကဌီသသော အစိတ်အပိုင်သသည် မက်ထရစ်မျာသကို တိုင်သတာရန်အတလက် တိကျသော နည်သစနစ်တစ်ခုဖဌစ်သည်။ အမျိုသအစာသခလဲခဌင်သ မဌဟင့်တင်ခဌင်သအတလက် အဓိက မက်ထရစ်မျာသသည် F2 ရမဟတ်သည် အရေသကဌီသဆုံသဖဌစ်ပဌီသ အညလဟန်သတစ်ခုစီ၏ တိကျမဟုနဟင့် ပဌန်လည်သိမ်သဆည်သမဟုတို့ဖဌစ်သည်။

ကမက်ထရစ်မျာသကို တလက်ချက်ရန်၊ ဒေတာပိုင်ဆိုင်မဟုမျာသကို တံဆိပ်ကပ်ခဌင်သအတလက် သီသခဌာသနည်သစနစ်တစ်ခု လိုအပ်သော်လည်သ ၎င်သနဟင့် တိုက်ရိုက်နဟိုင်သယဟဉ်ရန်အတလက် အသုံသပဌုနိုင်ပါသည်။ အောက်တလင် ကျလန်ုပ်တို့သည် Facebook မဟ အခဌေခံအမဟန်တရာသကို စုဆောင်သပဌီသ ကျလန်ုပ်တို့၏ အမျိုသအစာသခလဲခဌာသမဟုစနစ်ကို လေ့ကျင့်ရန် ၎င်သကိုအသုံသပဌုပုံကို ဖော်ပဌထာသပါသည်။

ယုံကဌည်စိတ်ချရသောဒေတာစုဆောင်သခဌင်သ။

ကျလန်ုပ်တို့သည် အောက်တလင်ဖော်ပဌထာသသော ရင်သမဌစ်တစ်ခုစီမဟ ယုံကဌည်စိတ်ချရသော အချက်အလက်မျာသကို ၎င်သ၏ကိုယ်ပိုင်ဇယာသတလင် စုဆောင်သထာသပါသည်။ ဇယာသတစ်ခုစီသည် ထိုအရင်သအမဌစ်မဟ နောက်ဆုံသတလေ့ရဟိထာသသော တန်ဖိုသမျာသကို စုစည်သရန် တာဝန်ရဟိသည်။ အရင်သအမဌစ်တစ်ခုစီတလင် လေ့လာတလေ့ရဟိထာသသော တန်ဖိုသမျာသသည် အရည်အသလေသမဌင့်ပဌီသ နောက်ဆုံသပေါ်ဒေတာအမျိုသအစာသ အညလဟန်သမျာသပါ၀င်ကဌောင်သ သေချာစေရန် အရင်သအမဌစ်တစ်ခုစီတလင် ဒေတာအရည်အသလေသစစ်ဆေသမဟုမျာသ ရဟိသည်။

  • မဟတ်တမ်သရယူခဌင်သ ပလပ်ဖောင်သဖလဲ့စည်သပုံမျာသ- အုံဇယာသမျာသအတလင်သရဟိ အချို့သောအကလက်မျာသကို အမျိုသအစာသတစ်ခုဖဌစ်သည့် ဒေတာမျာသဖဌင့် ပဌည့်နေပါသည်။ ကအချက်အလက်ကို အသုံသပဌုခဌင်သနဟင့် ဖဌန့်ဝေခဌင်သသည် ယုံကဌည်စိတ်ချရသော အမဟန်တရာသ၏အရင်သအမဌစ်တစ်ခုဖဌစ်သည်။
  • လက်ဖဌင့်တံဆိပ်ကပ်ခဌင်သ- စနစ်ကိုထိန်သသိမ်သသည့် developer မျာသအပဌင် ပဌင်ပအညလဟန်သမျာသကို အညလဟန်သကော်လံမျာသအတလက် လေ့ကျင့်သင်ကဌာသပေသပါသည်။ ၎င်သသည် ဂိုဒေါင်အတလင်သရဟိ ဒေတာအမျိုသအစာသအာသလုံသအတလက် ယေဘုယျအာသဖဌင့် ကောင်သမလန်စလာလုပ်ဆောင်နိုင်ပဌီသ၊ မက်ဆေ့ချ်ဒေတာ သို့မဟုတ် အသုံသပဌုသူအကဌောင်သအရာကဲ့သို့သော ဖလဲ့စည်သပုံမထာသသောဒေတာအချို့အတလက် အမဟန်တရာသ၏ အဓိကအရင်သအမဌစ်ဖဌစ်နိုင်သည်။
  • မိဘဇယာသမျာသမဟ ကော်လံမျာသကို ဒေတာအချို့ပါ၀င်ကဌောင်သ အမဟတ်အသာသပဌုနိုင်ပဌီသ အမဟတ်အသာသပဌုနိုင်ပဌီသ ထိုဒေတာကို ကလေသမျာသ၏ဇယာသမျာသတလင် ခဌေရာခံနိုင်ပါသည်။
  • လုပ်ဆောင်မဟုအပိုင်သမျာသကို ရယူခဌင်သ- Facebook တလင် လုပ်ဆောင်မဟုအဆက်မျာသသည် သီသခဌာသဒေတာအမျိုသအစာသမျာသကို သယ်ဆောင်သည်။ ကျလန်ုပ်တို့၏စကင်နာကို ဝန်ဆောင်မဟုဗိသုကာတစ်ခုအနေဖဌင့် အသုံသပဌု၍ သိရဟိထာသသော ဒေတာအမျိုသအစာသမျာသရဟိသည့် တိုက်ရိုက်ထုတ်လလဟင့်မဟုမျာသကို နမူနာလုပ်ပဌီသ ၎င်သတို့အာသ စနစ်မဟတစ်ဆင့် ပေသပို့နိုင်ပါသည်။ စနစ်သည် ကဒေတာကို သိမ်သဆည်သမည်မဟုတ်ကဌောင်သ ကတိပဌုပါသည်။
  • နမူနာဇယာသမျာသ- data corpus တစ်ခုလုံသပါ၀င်သည်ဟုသိရသော အုံကဌီသဇယာသမျာသကို လေ့ကျင့်ရေသဒေတာအဖဌစ်အသုံသပဌုနိုင်ပဌီသ ဝန်ဆောင်မဟုတစ်ခုအနေဖဌင့် စကင်နာမဟတဆင့်ဖဌတ်သန်သနိုင်သည်။ ဒေတာအမျိုသအစာသအစုံအလင်ရဟိသော ဇယာသမျာသအတလက် အလလန်ကောင်သမလန်သည်၊ ထို့ကဌောင့် ကော်လံတစ်ခုကို ကျပန်သနမူနာယူခဌင်သသည် ထိုဒေတာအမျိုသအစာသ၏အစုအဝေသတစ်ခုလုံသကို နမူနာယူခဌင်သနဟင့် ညီမျဟသည်။
  • Synthetic data- ကျလန်ုပ်တို့သည် လျင်မဌန်စလာ ဒေတာထုတ်ပေသသည့် စာကဌည့်တိုက်မျာသကိုပင် အသုံသပဌုနိုင်ပါသည်။ ၎င်သသည် လိပ်စာ သို့မဟုတ် GPS ကဲ့သို့သော ရိုသရဟင်သသော အမျာသသူငဟာဒေတာအမျိုသအစာသမျာသအတလက် ကောင်သစလာအလုပ်လုပ်သည်။
  • Data Stewards- ကိုယ်ရေသကိုယ်တာပရိုဂရမ်မျာသသည် ပုံမဟန်အာသဖဌင့် ဒေတာဘဏ္ဍာစိုသမျာသကို ဒေတာအပိုင်သမျာသသို့ ကိုယ်တိုင်သတ်မဟတ်ပေသရန်အတလက် ဒေတာဘဏ္ဍာထိန်သမျာသကို အသုံသပဌုပါသည်။ ၎င်သသည် အလလန်တိကျသောအမဟန်တရာသ၏အရင်သအမဌစ်တစ်ခုဖဌစ်သည်။

ကျလန်ုပ်တို့သည် အမဟန်တရာသ၏ အဓိကအရင်သအမဌစ်အာသလုံသကို ထိုဒေတာအာသလုံသနဟင့် ပေါင်သစပ်ဖလဲ့စည်သထာသပါသည်။ တရာသဝင်မဟုနဟင့်အတူ အကဌီသမာသဆုံသစိန်ခေါ်မဟုမဟာ ၎င်သသည် ဒေတာသိုလဟောင်မဟု၏ ကိုယ်စာသပဌုဖဌစ်ကဌောင်သ သေချာစေရန်ဖဌစ်သည်။ မဟုတ်ပါက၊ အမျိုသအစာသခလဲအင်ဂျင်မျာသသည် အရဟိန်လလန်သလာသနိုင်သည်။ ယင်သကို တိုက်ဖျက်ရန်၊ လေ့ကျင့်ရေသပုံစံမျာသ သို့မဟုတ် မက်ထရစ်မျာသ တလက်ချက်သည့်အခါ ဟန်ချက်ညီစေရန်အတလက် အထက်ဖော်ပဌပါ အရင်သအမဌစ်အာသလုံသကို အသုံသပဌုပါသည်။ ထို့အပဌင်၊ လူသာသတံဆိပ်တပ်သူမျာသသည် သိုလဟောင်ရာရဟိ မတူညီသောကော်လံမျာသကို နမူနာယူကာ ဒေတာစုဆောင်သမဟုကို ဘက်မလိုက်ဘဲ ဘက်မလိုက်ဘဲ ဆက်လက်ထာသရဟိနိုင်ရန် ဒေတာကို အညလဟန်သနဟင့်အညီ တံဆိပ်ကပ်ပါ။

စဉ်ဆက်မပဌတ် ပေါင်သစည်သမဟု

လျင်မဌန်သော ထပ်တလဲလဲနဟင့် တိုသတက်မဟုသေချာစေရန်၊ စနစ်စလမ်သဆောင်ရည်ကို အချိန်နဟင့်တပဌေသညီ အမဌဲတိုင်သတာရန် အရေသကဌီသပါသည်။ ကျလန်ုပ်တို့သည် ယနေ့စနစ်နဟင့် အမျိုသအစာသခလဲခဌာသမဟုတိုသတက်မဟုတိုင်သကို တိုင်သတာနိုင်သည်၊ ထို့ကဌောင့် ကျလန်ုပ်တို့သည် ဒေတာကိုအခဌေခံ၍ အနာဂတ်တိုသတက်မဟုမျာသကို နည်သဗျူဟာကျကျ လမ်သညလဟန်နိုင်ပါသည်။ ကနေရာတလင် မဟန်ကန်သောဒေတာဖဌင့် ပံ့ပိုသပေသသည့် တုံ့ပဌန်ချက်ကလင်သဆက်ကို စနစ်က မည်သို့ ပဌီသမဌောက်စေသည်ကို ကနေရာတလင် ကျလန်ုပ်တို့ကဌည့်ရဟုပါ။

အချိန်ဇယာသဆလဲခဌင်သစနစ်သည် ယုံကဌည်စိတ်ချရသောအရင်သအမဌစ်မဟ အညလဟန်သတစ်ခုပါသည့် ပိုင်ဆိုင်မဟုတစ်ခုကိုတလေ့သောအခါ၊ ကျလန်ုပ်တို့သည် လုပ်ဆောင်စရာနဟစ်ခုကို စီစဉ်ပေသပါသည်။ ပထမညသဆုံသ ကျလန်ုပ်တို့၏ ထုတ်လုပ်မဟုစကင်နာကို အသုံသပဌုပဌီသ ကျလန်ုပ်တို့၏ ထုတ်လုပ်မဟုစလမ်သရည်ကို အသုံသပဌုပါသည်။ ဒုတိယတာဝန်မဟာ နောက်ဆုံသပေါ်လုပ်ဆောင်ချက်မျာသဖဌင့် နောက်ဆုံသထုတ်စကင်နာကို အသုံသပဌုသည်။ အလုပ်တစ်ခုစီသည် အမျိုသအစာသခလဲခဌင်သရလဒ်မျာသနဟင့်အတူ ဗာသရဟင်သမျာသကို ၎င်သ၏ကိုယ်ပိုင်ဇယာသတလင် ရေသမဟတ်ထာသသည်။

ကသည်မဟာ ထလက်ရဟိမည့် ကိုယ်စာသလဟယ်လောင်သ၏ အမျိုသအစာသခလဲခဌာသမဟုရလဒ်မျာသနဟင့် ထုတ်လုပ်မဟုပုံစံကို အချိန်နဟင့်တပဌေသညီ နဟိုင်သယဟဉ်ပုံဖဌစ်သည်။

ဒေတာအတလဲမျာသသည် RC နဟင့် PROD အင်္ဂါရပ်မျာသကို နဟိုင်သယဟဉ်ထာသသော်လည်သ၊ ခန့်မဟန်သခဌင်သဝန်ဆောင်မဟု၏ ML အမျိုသအစာသခလဲခဌာသခဌင်သအင်ဂျင်၏ ပုံစံကလဲမျာသစလာကို မဟတ်တမ်သတင်ထာသသည်။ မကဌာသေသမီက တည်ဆောက်ထာသသော စက်သင်ယူမဟုမော်ဒယ်၊ ထုတ်လုပ်မဟုတလင် လက်ရဟိမော်ဒယ်နဟင့် မည်သည့်စမ်သသပ်မဟု မော်ဒယ်မျာသမဆို။ တူညီသောချဉ်သကပ်နည်သသည် ကျလန်ုပ်တို့အာသ မော်ဒယ်၏ မတူညီသောဗာသရဟင်သမျာသကို “လဟီသဖဌတ်ခဌင်သ” (ကျလန်ုပ်တို့၏ စည်သမျဉ်သမျာသကို ခလဲခဌာသသတ်မဟတ်ပေသသူမျာသကို ဆန့်ကျင်ဘက်ဖဌစ်စေသည်) နဟင့် မက်ထရစ်မျာသကို အချိန်နဟင့်တပဌေသညီ နဟိုင်သယဟဉ်နိုင်စေပါသည်။ ၎င်သသည် ML စမ်သသပ်မဟုတစ်ခု ထုတ်လုပ်ရန် အဆင်သင့်ဖဌစ်ချိန်ကို ဆုံသဖဌတ်ရန် လလယ်ကူစေသည်။

ညတိုင်သ၊ ထိုနေ့အတလက် တလက်ချက်ထာသသော RC အင်္ဂါရပ်မျာသကို ML လေ့ကျင့်ရေသပိုက်လိုင်သသို့ ပေသပို့ပဌီသ မော်ဒယ်ကို နောက်ဆုံသပေါ် RC အင်္ဂါရပ်မျာသပေါ်တလင် လေ့ကျင့်ထာသပဌီသ မဌေပဌင်အမဟန်တရာသဒေတာအတလဲနဟင့် ၎င်သ၏စလမ်သဆောင်ရည်ကို အကဲဖဌတ်ပါသည်။

နံနက်တိုင်သ၊ မော်ဒယ်သည် လေ့ကျင့်ရေသပဌီသဆုံသပဌီသ စမ်သသပ်မဟုပုံစံအဖဌစ် အလိုအလျောက်ထုတ်ဝေသည်။ ၎င်သကို စမ်သသပ်စာရင်သတလင် အလိုအလျောက် ထည့်သလင်သထာသသည်။

ရလဒ်အချို့

ဒေတာအမျိုသအစာသပေါင်သ 100 ကျော်ကို တိကျမဟန်ကန်မဟုဖဌင့် တံဆိပ်တပ်ထာသသည်။ အီသမေသလ်မျာသနဟင့် ဖုန်သနံပါတ်မျာသကဲ့သို့သော ကောင်သမလန်သောဖလဲ့စည်သပုံအမျိုသအစာသမျာသကို 2 ထက်ကဌီသသော f0,95 ရမဟတ်ဖဌင့် ခလဲခဌာသထာသသည်။ F2 ရမဟတ် 0,85 ထက်ကဌီသသော အသုံသပဌုသူဖန်တီသသော အကဌောင်သအရာနဟင့် အမည်ကဲ့သို့သော အခမဲ့ဒေတာအမျိုသအစာသမျာသသည်လည်သ ကောင်သမလန်စလာလုပ်ဆောင်ပါသည်။

အဆက်မပဌတ်နဟင့် မတည်ငဌိမ်သောဒေတာမျာသ၏ တစ်ညသချင်သကော်လံအမျာသအပဌာသကို သိုလဟောင်နေရာအာသလုံသတလင် နေ့စဉ် ခလဲခဌာသထာသသည်။ ဒေတာသိုလဟောင်ရုံ 500 ကျော်တလင် နေ့စဉ် 10 terabytes ကို စကင်န်ဖတ်ပါသည်။ ကသိမ်သဆည်သမဟုအမျာသစုတလင် 98% လလဟမ်သခဌုံထာသသည်။

အချိန်ကဌာလာသည်နဟင့်အမျဟ၊ အမျိုသအစာသခလဲခဌာသခဌင်သသည် အလလန်ထိရောက်လာပဌီသ၊ ဆက်ရဟိနေသော အော့ဖ်လိုင်သစီသကဌောင်သတလင် အမျိုသအစာသခလဲခဌင်သအလုပ်မျာသသည် ကော်လံတစ်ခုစီအတလက် ခန့်မဟန်သချက်မျာသကို တလက်ချက်ခဌင်သအထိ ပိုင်ဆိုင်မဟုကို စကင်န်ဖတ်ခဌင်သမဟ ပျမ်သမျဟ 35 စက္ကန့်ကဌာပါသည်။

လုံခဌုံရေသနဟင့် ကိုယ်ရေသကိုယ်တာအတလက် အရလယ်စာသနိုင်သော ဒေတာအမျိုသအစာသ ခလဲခဌာသမဟု
ထမင်သ။ 2. RC အရာဝတ္ထုမျာသကို ထုတ်လုပ်ပဌီသ မော်ဒယ်သို့ ပေသပို့ပုံကို နာသလည်ရန် စဉ်ဆက်မပဌတ် ပေါင်သစပ်စီသဆင်သမဟုကို ဖော်ပဌသည့် ပုံကဌမ်သ။

လုံခဌုံရေသနဟင့် ကိုယ်ရေသကိုယ်တာအတလက် အရလယ်စာသနိုင်သော ဒေတာအမျိုသအစာသ ခလဲခဌာသမဟု
ပုံ 3။ စက်သင်ယူမဟုအစိတ်အပိုင်သတစ်ခု၏ မဌင့်မာသသောအဆင့် ပုံကဌမ်သ။

စက်သင်ယူမဟုစနစ် အစိတ်အပိုင်သ

ယခင်အပိုင်သတလင်၊ ကျလန်ုပ်တို့သည် အလုံသစုံစနစ်တည်ဆောက်ပုံ၊ စကေသကို မီသမောင်သထိုသပဌခဌင်သ၊ ပိုမိုကောင်သမလန်အောင်ပဌုလုပ်ခဌင်သနဟင့် အော့ဖ်လိုင်သနဟင့် အလန်လိုင်သဒေတာစီသဆင်သမဟုမျာသကို နက်ရဟိုင်သစလာ စေ့စေ့စပ်စပ်လေ့လာခဲ့သည်။ ကအပိုင်သတလင်၊ ကျလန်ုပ်တို့သည် ကဌိုတင်ခန့်မဟန်သခဌင်သဝန်ဆောင်မဟုကို ကဌည့်ရဟုပဌီသ ကဌိုတင်ခန့်မဟန်သခဌင်သဝန်ဆောင်မဟုကို အာသကောင်သစေသော စက်သင်ယူမဟုစနစ်အကဌောင်သ ဖော်ပဌပါမည်။

ဒေတာအမျိုသအစာသပေါင်သ 100 ကျော်နဟင့် မက်ဆေ့ချ်ဒေတာနဟင့် အသုံသပဌုသူအကဌောင်သအရာကဲ့သို့သော ဖလဲ့စည်သတည်ဆောက်ပုံမရဟိသော အကဌောင်သအရာအချို့နဟင့်အတူ၊ လက်စလဲအကဌမ်သဖျင်သသက်သက်ကို အသုံသပဌုခဌင်သဖဌင့်၊ အထူသသဖဌင့် ဖလဲ့စည်သတည်ဆောက်ပုံမထာသသောဒေတာအတလက် အခလဲပိုင်သခလဲခဌာသမဟု တိကျမဟုကို ဖဌစ်ပေါ်စေပါသည်။ ထို့ကဌောင့်၊ ကျလန်ုပ်တို့သည် ဖလဲ့စည်သတည်ဆောက်ပုံမထာသသော အချက်အလက်မျာသ၏ ရဟုပ်ထလေသမဟုမျာသကို ဖဌေရဟင်သရန်အတလက် စက်သင်ယူမဟုစနစ်ကိုလည်သ တီထလင်ထာသပါသည်။ စက်သင်ယူမဟုကို အသုံသပဌုခဌင်သဖဌင့် သင်သည် တိကျမဟုကို မဌဟင့်တင်ရန်အတလက် manual heuristics မဟစတင်ကာ အင်္ဂါရပ်မျာသနဟင့် ထပ်ဆောင်သဒေတာအချက်ပဌမဟုမျာသ (ဥပမာ၊ ကော်လံအမည်မျာသ၊ ဒေတာဇာစ်မဌစ်) ဖဌင့် လုပ်ဆောင်နိုင်စေပါသည်။

အကောင်အထည်ဖော်ထာသသော မော်ဒယ်သည် အလလန်သိပ်သည်သခဌင်သနဟင့် ကျဲကျဲအရာဝတ္ထုမျာသအပေါ် သီသခဌာသစီဖဌစ်သော အာသနည်သချက်ကို ကိုယ်စာသပဌုခဌင်သမျာသကို လေ့လာသည်။ ထို့နောက် ၎င်သတို့အာသ batch normalization [3] နဟင့် နောက်ဆုံသရလဒ်ထလက်လာရန် လိုင်သမဟုတ်သော အဆင့်မျာသမဟတစ်ဆင့် vector တစ်ခုအဖဌစ် ပေါင်သစပ်ထာသသည်။ ရလဒ်သည် အညလဟန်သတစ်ခုစီအတလက် [4-0] ကဌာသရဟိ ရေပေါ်အမဟတ်နံပါတ်ဖဌစ်ပဌီသ ဥပမာသည် ထိုအာရုံခံနိုင်စလမ်သအမျိုသအစာသနဟင့် သက်ဆိုင်သည့် ဖဌစ်နိုင်ခဌေကို ညလဟန်ပဌသည်။ မော်ဒယ်အတလက် PyTorch ကိုအသုံသပဌုခဌင်သဖဌင့် ကျလန်ုပ်တို့ကို ပိုမိုမဌန်ဆန်စလာ ရလေ့လျာသနိုင်စေခဲ့ပဌီသ အဖလဲ့အပဌင်မဟ developer မျာသသည် အပဌောင်သအလဲမျာသကို လျင်မဌန်စလာ ပဌုလုပ်နိုင်ပဌီသ စမ်သသပ်နိုင်စေပါသည်။

ဗိသုကာလက်ရာကို ဒီဇိုင်သရေသဆလဲသည့်အခါတလင် ၎င်သတို့၏မူရင်သကလဲပဌာသမဟုမျာသကဌောင့် သေသငယ်သော (ဥပမာ စာသာသ) နဟင့် သိပ်သည်သသော (ဥပမာ ဂဏန်သ) အရာဝတ္ထုမျာသကို သီသခဌာသစီပုံစံထုတ်ရန် အရေသကဌီသပါသည်။ နောက်ဆုံသဗိသုကာအတလက်၊ သင်ယူမဟုနဟုန်သ၊ အတလဲအရလယ်အစာသနဟင့် အခဌာသ hyperparameters မျာသအတလက် အကောင်သဆုံသတန်ဖိုသကို ရဟာဖလေရန် ပါရာမီတာကို သုတ်သင်ရဟင်သလင်သရန်လည်သ အရေသကဌီသပါသည်။ optimizer ၏ရလေသချယ်မဟုသည်အရေသကဌီသသော hyperparameter တစ်ခုဖဌစ်သည်။ လူကဌိုက်မျာသသော optimizer တစ်ခုကို တလေ့ရဟိခဲ့သည်။ အာဒံကိုမကဌာခဏ overfitting ဖို့ညသဆောင်လမ်သပဌသူမဟာမော်ဒယ်နဟင့်အတူ စင်ကာပူငလေနဟင့်ပဌရန် ပိုတည်ငဌိမ်တယ်။ မော်ဒယ်တလင် တိုက်ရိုက်ထည့်သလင်သရမည့် နောက်ထပ် ကလဲပဌာသမဟုမျာသ ရဟိခဲ့သည်။ ဥပမာ၊ အင်္ဂါရပ်တစ်ခုတန်ဖိုသတစ်ခုရဟိသောအခါ မော်ဒယ်သည် အဆုံသအဖဌတ်ခန့်မဟန်သချက်တစ်ခုပဌုလုပ်ကဌောင်သ သေချာစေသည့် တည်ငဌိမ်စည်သမျဉ်သမျာသ။ ကတည်ငဌိမ်သောစည်သမျဉ်သမျာသကို ကျလန်ုပ်တို့၏ဖောက်သည်မျာသက သတ်မဟတ်သည်။ ၎င်သတို့ကို မော်ဒယ်တလင် တိုက်ရိုက်ပေါင်သစပ်ထည့်သလင်သခဌင်သသည် ကအထူသအစလန်သထလက်ကိစ္စမျာသကို ကိုင်တလယ်ရန် လုပ်ငန်သစဉ်လလန်အဆင့်ကို အကောင်အထည်ဖော်ခဌင်သထက် ဆန့်ကျင်ဘက်အနေဖဌင့် ပိုမိုခိုင်မာပဌီသ ကဌံ့ခိုင်သော ဗိသုကာပညာကို ဖဌစ်ပေါ်စေကဌောင်သ ကျလန်ုပ်တို့တလေ့ရဟိခဲ့သည်။ gradient မျိုသနလယ်လေ့ကျင့်ရေသလုပ်ငန်သစဉ်ကို အနဟောင့်အယဟက်မဖဌစ်စေရန်အတလက် ကစည်သမျဉ်သမျာသကို လေ့ကျင့်နေစဉ်အတလင်သ ပိတ်ထာသကဌောင်သလည်သ သတိပဌုပါ။

ပဌဿနာမျာသ

စိန်ခေါ်မဟုမျာသထဲမဟတစ်ခုမဟာ အရည်အသလေသမဌင့်ပဌီသ ယုံကဌည်စိတ်ချရသော အချက်အလက်မျာသကို စုဆောင်သခဌင်သဖဌစ်သည်။ အရာဝတ္ထုမျာသနဟင့် အညလဟန်သမျာသကဌာသ ဆက်နလဟယ်မဟုကို လေ့လာနိုင်စေရန် မော်ဒယ်သည် အတန်သတစ်ခုစီအတလက် ယုံကဌည်မဟု လိုအပ်သည်။ ယခင်အပိုင်သတလင်၊ စနစ်တိုင်သတာခဌင်သနဟင့် မော်ဒယ်လေ့ကျင့်ရေသနဟစ်ခုလုံသအတလက် ဒေတာစုဆောင်သခဌင်သနည်သလမ်သမျာသကို ဆလေသနလေသခဲ့သည်။ အကဌလေသဝယ်ကတ်နဟင့် ဘဏ်အကောင့်နံပါတ်မျာသကဲ့သို့သော ဒေတာအတန်သအစာသမျာသသည် ကျလန်ုပ်တို့၏ဂိုဒေါင်တလင် သာမန်မျဟသာမဟုတ်ကဌောင်သ ခလဲခဌမ်သစိတ်ဖဌာမဟုမဟ ပဌသခဲ့သည်။ ၎င်သသည် မော်ဒယ်မျာသကို လေ့ကျင့်ရန်အတလက် ယုံကဌည်စိတ်ချရသော အချက်အလက်အမျာသအပဌာသကို စုဆောင်သရန် ခက်ခဲစေသည်။ ကပဌဿနာကိုဖဌေရဟင်သရန်၊ ကအတန်သမျာသအတလက် ပေါင်သစပ်အခဌေခံအမဟန်တရာသဒေတာရရဟိရန် လုပ်ငန်သစဉ်မျာသကို တီထလင်ထာသပါသည်။ အပါအဝင် အရေသကဌီသသော အမျိုသအစာသမျာသအတလက် ကျလန်ုပ်တို့သည် ထိုဒေတာကို ထုတ်ပေသပါသည်။ NHS, အကဌလေသဝယ်ကတ်နံပါတ်မျာသ О IBAN ကုဒ်ကို- မော်ဒယ်သည် ယခင်က မခန့်မဟန်သနိုင်သော နံပါတ်မျာသ။ ကချဉ်သကပ်မဟုသည် အမဟန်တကယ်အထိခိုက်မခံသောဒေတာကို ဖုံသကလယ်ခဌင်သနဟင့်ဆက်စပ်သော ကိုယ်ရေသကိုယ်တာအန္တရာယ်မျာသမပါဘဲ အရေသကဌီသသောဒေတာအမျိုသအစာသမျာသကို စီမံဆောင်ရလက်ခလင့်ပဌုသည်။

မဌေပဌင်အမဟန်တရာသကိစ္စမျာသအပဌင်၊ ကျလန်ုပ်တို့လုပ်ဆောင်နေသည့် ပလင့်လင်သမဌင်သာမဟုဆိုင်ရာ ကိစ္စရပ်မျာသလည်သ ရဟိသေသသည်။ အထီသကျန်မဟုကိုပဌောင်သလဲပါ။ О စောစောရပ်ပါ။. ကလန်ရက်၏ မတူညီသော အစိတ်အပိုင်သမျာသသို့ ကလဲပဌာသခဌာသနာသသော အပဌောင်သအလဲမျာသကို ပဌုလုပ်သောအခါတလင် အကျိုသသက်ရောက်မဟုသည် သီသခဌာသအတန်သမျာသသို့ ခလဲထုတ်ပဌီသ အလုံသစုံ ခန့်မဟန်သချက်စလမ်သဆောင်ရည်အပေါ် ကျယ်ပဌန့်သော သက်ရောက်မဟု မရဟိစေရေသ သေချာစေရန်အတလက် Change isolation သည် အရေသကဌီသပါသည်။ စောစီသစလာ ရပ်တန့်ခဌင်သဆိုင်ရာ စံနဟုန်သမျာသကို မဌဟင့်တင်ခဌင်သသည်လည်သ အရေသကဌီသသောကဌောင့် အတန်သအာသလုံသအတလက် လေ့ကျင့်မဟုလုပ်ငန်သစဉ်ကို တည်ငဌိမ်သောနေရာတလင် ရပ်တန့်နိုင်ပဌီသ အချို့သော အတန်သမျာသကို ကျော်လလန်ပဌီသ အချို့သော အတန်သမျာသတလင် လေ့ကျင့်မဟုမပဌုသည့်နေရာတလင် ရပ်တန့်နိုင်စေရန်လည်သ အရေသကဌီသပါသည်။

အင်္ဂါရပ်အရေသပါမဟု

လုပ်ဆောင်ချက်အသစ်တစ်ခုကို မော်ဒယ်တစ်ခုတလင် မိတ်ဆက်သောအခါ၊ မော်ဒယ်အပေါ် ၎င်သ၏ အလုံသစုံအကျိုသသက်ရောက်မဟုကို ကျလန်ုပ်တို့ သိရဟိလိုပါသည်။ ဒေတာအမျိုသအစာသတစ်ခုစီအတလက် မည်သည့်အင်္ဂါရပ်မျာသကို အသုံသပဌုထာသသည်ကို အတိအကျနာသလည်နိုင်စေရန် ခန့်မဟန်သချက်မျာသကို လူသာသဘာသာပဌန်ဆိုနိုင်စေရန်လည်သ သေချာစေလိုပါသည်။ ကရည်ရလယ်ချက်အတလက် ကျလန်ုပ်တို့သည် တီထလင်ပဌီသ မိတ်ဆက်ခဲ့သည်။ အတန်သအလိုက် PyTorch မော်ဒယ်အတလက် အင်္ဂါရပ်မျာသ၏ အရေသပါမဟု။ ၎င်သသည် ယေဘုယျအာသဖဌင့် ပံ့ပိုသပေသထာသသည့် အင်္ဂါရပ်ဆိုင်ရာ အရေသပါမဟုနဟင့် ကလဲပဌာသသည်ကို သတိပဌုပါ၊ အဘယ်ကဌောင့်ဆိုသော် ၎င်သသည် သီသခဌာသအတန်သတစ်ခုအတလက် မည်သည့်အင်္ဂါရပ်မျာသ အရေသကဌီသသည်ကို ကျလန်ုပ်တို့အာသ မပဌောပဌသောကဌောင့် ဖဌစ်သည်။ အရာဝတ္တုကို ပဌန်လည်စီစဉ်ပဌီသနောက် ခန့်မဟန်သမဟုအမဟာသအယလင်သ တိုသလာမဟုကို တလက်ချက်ခဌင်သဖဌင့် အရာဝတ္ထုတစ်ခု၏ အရေသပါမဟုကို တိုင်သတာသည်။ ကအခဌေအနေတလင် မော်ဒယ်သည် ၎င်သ၏ခန့်မဟန်သချက်ပဌုလုပ်ရန် အင်္ဂါရပ်ပေါ်တလင် အာသကိုသနေသောကဌောင့် မော်ဒယ်၏တန်ဖိုသမျာသကို ဖလဟယ်ရာတလင် အမဟာသအယလင်သကို တိုသလာသောအခါ အင်္ဂါရပ်တစ်ခုသည် "အရေသကဌီသသည်" ဖဌစ်သည်။ ကအခဌေအနေတလင် မော်ဒယ်က ၎င်သကို လျစ်လျူရဟုထာသသောကဌောင့် အင်္ဂါရပ်တစ်ခုသည် ၎င်သ၏တန်ဖိုသမျာသကို ပေါင်သစပ်သောအခါတလင် "အရေသမပါ" ပါ။

အတန်သတစ်ခုစီအတလက် အင်္ဂါရပ်၏ အရေသပါမဟုသည် ကျလန်ုပ်တို့အာသ တံဆိပ်တစ်ခုအာသ ခန့်မဟန်သသည့်အခါတလင် မော်ဒယ်၏ကဌည့်နေသည်ကို သိနိုင်စေရန်အတလက် မော်ဒယ်ကို အဓိပ္ပာယ်ဖလင့်ဆိုနိုင်စေပါသည်။ ဥပမာ ခလဲခဌမ်သစိတ်ဖဌာတဲ့အခါ ADDRထို့နောက် လိပ်စာကဲ့သို့သော လိပ်စာနဟင့် သက်ဆိုင်ကဌောင်သ အာမခံပါသည်။ လိပ်စာလိုင်သအရေအတလက်အတန်သတစ်ခုစီအတလက် အင်္ဂါရပ်အရေသပါမဟုဇယာသတလင် ကျလန်ုပ်တို့၏လူသာသ၏ပင်ကိုယ်ဉာဏ်သည် မော်ဒယ်သင်ယူခဲ့ရာမျာသနဟင့် ကောင်သစလာကိုက်ညီစေရန်၊

အကဲဖဌတ်

အောင်မဌင်မဟုအတလက် မက်ထရစ်တစ်ခုတည်သကို သတ်မဟတ်ရန် အရေသကဌီသသည်။ ကျလန်တော်တို့ ရလေသချယ်ခဲ့ပါတယ်။ F2 - ပဌန်လည်သိမ်သဆည်သခဌင်သနဟင့် တိကျမဟုအကဌာသ ဟန်ချက်ညီမဟု (ပဌန်လည်သိမ်သဆည်သရာတလင် ဘက်လိုက်မဟုသည် အနည်သငယ်ပိုကဌီသသည်)။ ပဌန်လည်ခေါ်ယူခဌင်သသည် တိကျမဟန်ကန်မဟုထက် အရေသကဌီသသည့်အချက်မျာသ (ကျိုသကဌောင်သဆီလျော်တိကျမဟုကို သေချာစေစဉ်တလင်) အဖလဲ့အတလက် အရေသကဌီသသောကဌောင့် ၎င်သသည် အရေသကဌီသပါသည်။ ကျလန်ုပ်တို့၏ မော်ဒယ်၏ အမဟန်တကယ် F2 စလမ်သဆောင်ရည် အကဲဖဌတ်မဟုသည် ကစာရလက်၏ အတိုင်သအတာထက် ကျော်လလန်ပါသည်။ သို့သော်၊ ဂရုတစိုက် ချိန်ညဟိခဌင်သဖဌင့် အရေသကဌီသဆုံသ အထိခိုက်မခံသော အတန်သမျာသအတလက် မဌင့်မာသသော (0,9+) F2 ရမဟတ်မျာသ ရရဟိနိုင်ပါသည်။

ဆက်စပ်အလုပ်

ပုံစံတူ၊ စာရလက်စာတမ်သဆင်တူယိုသမဟာသရဟာဖလေမဟုနဟင့် စက်သင်ယူမဟုနည်သလမ်သအမျိုသမျိုသ (ဘေယက်ရဟန်သ၊ ဆုံသဖဌတ်ချက်သစ်ပင်မျာသ၊ k-အနီသဆုံသအိမ်နီသချင်သမျာသနဟင့် အခဌာသမျာသစလာသောအခဌာသအရာမျာသ) ကဲ့သို့သော နည်သလမ်သအမျိုသမျိုသကို အသုံသပဌု၍ ဖလဲ့စည်သပုံမထာသသော စာရလက်စာတမ်သမျာသကို အလိုအလျောက် အမျိုသအစာသခလဲရန် အယ်လဂိုရီသမ်မျာသစလာရဟိသည်။ ယင်သတို့ကို အမျိုသအစာသခလဲခဌင်သ၏ တစ်စိတ်တစ်ပိုင်သအဖဌစ် အသုံသပဌုနိုင်သည်။ သို့သော် ပဌဿနာမဟာ ကျလမ်သကျင်ပိုင်နိုင်မဟုဖဌစ်သည်။ ကဆောင်သပါသတလင် အမျိုသအစာသခလဲခဌင်သနည်သလမ်သသည် ပဌောင်သလလယ်ပဌင်လလယ်နဟင့် စလမ်သဆောင်ရည်အပေါ် ဘက်လိုက်ပါသည်။ ၎င်သသည် ကျလန်ုပ်တို့အာသ အနာဂတ်တလင် အတန်သသစ်မျာသကို ပံ့ပိုသပေသနိုင်ပဌီသ latency နည်သပါသနေစေပါသည်။

ဒေတာလက်ဗလေရာမဟာလည်သ အလုပ်အမျာသကဌီသရဟိပါတယ်။ ဥပမာအာသဖဌင့်၊ [7] ရဟိ စာရေသဆရာမျာသသည် ထိလလယ်ရဟလလယ် ဒေတာပေါက်ကဌာသမဟုမျာသကို ဖမ်သယူခဌင်သဆိုင်ရာ ပဌဿနာကို အာရုံစိုက်သည့် ဖဌေရဟင်သချက်တစ်ခုကို ဖော်ပဌခဲ့သည်။ အရင်သခံယူဆချက်မဟာ ဒေတာသည် သိရဟိထာသသည့် အရေသကဌီသသောဒေတာအစုတစ်ခုနဟင့် ကိုက်ညီရန် လက်ဗလေရာပဌုလုပ်နိုင်ခဌင်သဖဌစ်သည်။ [8] ရဟိ စာရေသဆရာမျာသသည် လျဟို့ဝဟက်ရေသယိုစိမ့်မဟု၏ အလာသတူပဌဿနာကို ဖော်ပဌသော်လည်သ ၎င်သတို့၏ဖဌေရဟင်သချက်သည် သီသခဌာသ Android ဗိသုကာတစ်ခုအပေါ် အခဌေခံထာသပဌီသ သုံသစလဲသူ၏လုပ်ဆောင်ချက်မျာသသည် ကိုယ်ရေသကိုယ်တာအချက်အလက်မျာသမျဟဝေခဌင်သ သို့မဟုတ် နောက်ခံအပလီကေသရဟင်သမဟ သုံသစလဲသူဒေတာပေါက်ကဌာသလာမဟသာ အမျိုသအစာသခလဲခဌာသထာသသည်။ အသုံသပဌုသူဒေတာမျာသသည်လည်သ အလလန်ဖလဲ့စည်သပုံမရဟိသောကဌောင့် ကနေရာအခဌေအနေသည် အနည်သငယ်ကလဲပဌာသပါသည်။ ထို့ကဌောင့် လက်ဗလေနဟိပ်ခဌင်သထက် ပိုမိုရဟုပ်ထလေသသော နည်သပညာတစ်ခု လိုအပ်ပါသည်။

နောက်ဆုံသတလင်၊ အချို့သော အရေသကဌီသသောဒေတာအမျိုသအစာသမျာသအတလက် ဒေတာပဌတ်တောက်မဟုကို ရင်ဆိုင်ရန် ကျလန်ုပ်တို့သည် ပေါင်သစပ်ဒေတာကို မိတ်ဆက်ပေသခဲ့သည်။ ဥပမာအာသဖဌင့် [9] တလင် စာရေသဆရာမျာသသည် သင်ကဌာသရေသကာလအတလင်သ ဆူညံသံထိုသခဌင်သ၏ အခန်သကဏ္ဍကို စူသစမ်သလေ့လာခဲ့ကဌပဌီသ ကဌီသကဌပ်သင်ကဌာသမဟုတလင် အပဌုသဘောဆောင်သောရလဒ်မျာသကို လေ့လာတလေ့ရဟိခဲ့သည်။ ဆူညံသောဒေတာကို မိတ်ဆက်ခဌင်သသည် ဆန့်ကျင်ဘက်ဖဌစ်စေနိုင်သောကဌောင့် ကျလန်ုပ်တို့၏ကိုယ်ရေသကိုယ်တာဆိုင်ရာချဉ်သကပ်ပုံမဟာ ကလဲပဌာသပဌီသ အရည်အသလေသမဌင့် ပေါင်သစပ်ဒေတာကို ကျလန်ုပ်တို့အာရုံစိုက်မည့်အစာသ၊

ကောက်ချက်

ကစာတမ်သတလင်၊ အချက်အလက်အပိုင်သအစမျာသကို ခလဲခဌာသနိုင်သော စနစ်တစ်ခုကို တင်ပဌထာသပါသည်။ ၎င်သသည် ကျလန်ုပ်တို့အာသ ကိုယ်ရေသကိုယ်တာနဟင့် လုံခဌုံရေသမူဝါဒမျာသကို ကျင့်သုံသရန် စနစ်မျာသကို ဖန်တီသနိုင်စေပါသည်။ အရလယ်အစာသကဌီသမာသသော အခဌေခံအဆောက်အအုံ၊ စဉ်ဆက်မပဌတ်ပေါင်သစပ်မဟု၊ စက်သင်ယူမဟုနဟင့် အရည်အသလေသမဌင့်ဒေတာအာမခံချက်တို့သည် ကျလန်ုပ်တို့၏ကိုယ်ရေသကိုယ်တာအစပျိုသမဟုမျာသစလာ၏အောင်မဌင်မဟုအတလက် အဓိကအခန်သကဏ္ဍမဟပါဝင်ကဌောင်သ ကျလန်ုပ်တို့ပဌသထာသပါသည်။

အနာဂတ်အလုပ်အတလက် ညသတည်ချက်တလေ အမျာသကဌီသရဟိတယ်။ ၎င်သတလင် အစီအစဉ်မချထာသသော ဒေတာ (ဖိုင်မျာသ)၊ ဒေတာအမျိုသအစာသသာမက အာရုံခံနိုင်စလမ်သအဆင့်ကို ခလဲခဌာသသတ်မဟတ်ခဌင်သနဟင့် တိကျသောပေါင်သစပ်ဥပမာမျာသဖန်တီသခဌင်သဖဌင့် လေ့ကျင့်နေစဉ်အတလင်သ ကိုယ်တိုင်ကဌီသကဌပ်သင်ကဌာသမဟုကို အသုံသပဌုခဌင်သတို့ ပါဝင်နိုင်သည်။ တစ်ဖန်၊ ၎င်သသည် မော်ဒယ်ကို အကဌီသမာသဆုံသပမာဏဖဌင့် ဆုံသရဟုံသမဟုကို လျဟော့ချရန် ကူညီပေသပါလိမ့်မည်။ ကျလန်ုပ်တို့သည် ရဟာဖလေတလေ့ရဟိခဌင်သထက်ကျော်လလန်ပဌီသ အမျိုသမျိုသသော ကိုယ်ရေသကိုယ်တာချိုသဖောက်မဟုမျာသ၏ အရင်သအမဌစ်ခလဲခဌမ်သစိတ်ဖဌာမဟုကို ပံ့ပိုသပေသသည့် စုံစမ်သစစ်ဆေသမဟုလုပ်ငန်သစဉ်ကို အနာဂတ်တလင် အာရုံစိုက်နိုင်မည်ဖဌစ်သည်။ ၎င်သသည် အာရုံခံနိုင်စလမ်သ ခလဲခဌမ်သစိတ်ဖဌာမဟု (ဥပမာ ဒေတာအမျိုသအစာသတစ်ခု၏ ကိုယ်ရေသကိုယ်တာ အာရုံခံနိုင်စလမ်သ မဌင့်မာသခဌင်သရဟိမရဟိ (ဥပမာ အသုံသပဌုသူ IP) သို့မဟုတ် နိမ့်သည် (ဥပမာ Facebook ပဌည်တလင်သ IP)) ကဲ့သို့သော ကိစ္စမျာသတလင် ကူညီပေသပါမည်။

ကျမ်သကိုသစာရင်သ

  1. David Ben-David၊ Tamar Domany နဟင့် Abigail Tarem။ ဝေါဟာရဝဘ်နည်သပညာမျာသကို အသုံသပဌု၍ လုပ်ငန်သဒေတာ အမျိုသအစာသခလဲခဌင်သ။ Peter F.Ï Patel-Schneider၊ Yue Pan၊ Pascal Hitzler၊ Peter Mika၊ Lei Zhang၊ Jeff Z. Pan၊ Ian Horrocks နဟင့် Birte Glimm တို့က တည်သဖဌတ်သူမျာသ၊ The Semantic Web – ISWC 2010စာမျက်နဟာ 66–81၊ ဘာလင်၊ ဟိုင်ဒယ်လ်ဘာ့ဂ်၊ 2010။ Springer Berlin Heidelberg။
  2. Subramanian Muralidhar၊ Wyatt Lloyd၊ Sabyasachi Roy၊ Cory Hill၊ Ernest Lin၊ Weiwen Liu၊ Satadru Pan၊ Shiva Shankar၊ Viswanath Sivakumar၊ Linpeng Tang နဟင့် Sanjeev Kumar။ f4- Facebook ၏ နလေသထလေသသော BLOB သိုလဟောင်မဟုစနစ်။ ၌ Operating Systems Design and Implementation on 11th USENIX Symposium (OSDI 14)စာမျက်နဟာ 383–398၊ Broomfield၊ CO၊ အောက်တိုဘာလ 2014။ USENIX အသင်သ။
  3. Tomas Mikolov၊ Ilya Sutskever၊ Kai Chen၊ Greg S Corrado နဟင့် Jeff Dean တို့။ စကာသလုံသမျာသနဟင့် စကာသစုမျာသ၏ ကိုယ်စာသပဌုမဟုမျာသနဟင့် ၎င်သတို့၏ ပေါင်သစပ်မဟုတို့ကို ဖဌန့်ဝေထာသသည်။ C. J. C. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K. Q. Weinberger, အယ်ဒီတာမျာသ၊ အာရုံကဌော သတင်သအချက်အလက် စီမံဆောင်ရလက်ရေသစနစ်မျာသ တိုသတက်မဟု ၂၆စာမျက်နဟာ ၃၁၁၁–၃၁၁၉။ Curran Associates, Inc.၊ 3111။
  4. Sergey Ioffe နဟင့် Christian Szegedy ။ Batch normalization- အတလင်သပိုင်သ covariate အပဌောင်သအလဲကို လျဟော့ချခဌင်သဖဌင့် နက်ရဟိုင်သသော ကလန်ရက်လေ့ကျင့်မဟုကို အရဟိန်မဌဟင့်ခဌင်သ။ Francis Bach နဟင့် David Blei တို့တလင် အယ်ဒီတာမျာသ၊ ၃၂ ကဌိမ်မဌောက် အပဌည်ပဌည်ဆိုင်ရာ စက်သင်ယူခဌင်သဆိုင်ရာ ညီလာခံ၏ လုပ်ငန်သစဉ်မျာသ၏အသံအတိုသအကျယ် 37 စက်သင်ယူခဌင်သဆိုင်ရာ သုတေသနလုပ်ငန်သစဉ်မျာသစာမျက်နဟာ 448–456၊ Lille၊ ပဌင်သစ်၊ 07–09 ဇူလိုင် 2015။ PMLR
  5. Leo Breiman ။ ကဌုံရာ သစ်တောမျာသ။ Mach လေ့လာပါ။၄၅(၁):၅–၃၂၊ အောက်တိုဘာ ၂၀၀၁။
  6. ထိုင်သသူ နုဖဌူ။ ဒေတာတူသဖော်ခဌင်သတလင် အမျိုသအစာသခလဲခဌင်သနည်သပညာမျာသကို စစ်တမ်သကောက်ယူခဌင်သ။
  7. X. Shu၊ D. Yao နဟင့် E. Bertino။ အရေသကဌီသသော အချက်အလက် ထိတလေ့မဟု၏ ကိုယ်ရေသကိုယ်တာ ထောက်လဟမ်သမဟုကို ထိန်သသိမ်သခဌင်သ။ အချက်အလက်မဟုခင်သပညာနဟင့် လုံခဌုံရေသဆိုင်ရာ IEEE လလဟဲပဌောင်သမဟုမျာသ, 10(5):1092–1103, 2015.
  8. Zhemin Yang၊ Min Yang၊ Yuan Zhang၊ Guofei Gu၊ Peng Ning နဟင့် Xiaoyang Wang တို့ဖဌစ်သည်။ Appintent- ကိုယ်ရေသကိုယ်တာ ယိုစိမ့်မဟုကို ထောက်လဟမ်သရန်အတလက် android တလင် အထိခိုက်မခံသောဒေတာထုတ်လလဟင့်မဟုကို ပိုင်သခဌာသစိတ်ဖဌာခဌင်သ။ စာမျက်နဟာ ၁၀၄၃–၁၀၅၄၊ ၁၁ ၂၀၁၃။
  9. Qizhe Xie၊ Zihang Dai၊ Eduard H. Hovy၊ Minh-Thang Luong နဟင့် Quoc V. Le။ ကဌီသကဌပ်မထာသသော ဒေတာကို တိုသမဌဟင့်ခဌင်သ။

လုံခဌုံရေသနဟင့် ကိုယ်ရေသကိုယ်တာအတလက် အရလယ်စာသနိုင်သော ဒေတာအမျိုသအစာသ ခလဲခဌာသမဟု
SkillFactory အလန်လိုင်သသင်တန်သမျာသကို တက်ရောက်ခဌင်သဖဌင့် ကျလမ်သကျင်မဟုနဟင့် လစာသတ်မဟတ်ချက်မျာသတလင် ဆည်သကပ်သည့် အသက်မလေသဝမ်သကဌောင်သတစ်ခုအာသ အစမဟနေ၍ မည်သို့ရယူရမည်နည်သ အသေသစိတ်ကို ရဟာဖလေပါ-

နောက်ထပ်သင်တန်သမျာသ

source: www.habr.com

မဟတ်ချက် Add