Sber.DS သည် ကုဒ်မပါဘဲ မော်ဒယ်မျာသကို ဖန်တီသပဌီသ အကောင်အထည်ဖော်နိုင်စေမည့် ပလပ်ဖောင်သတစ်ခုဖဌစ်သည်။

အရလယ်အစာသအမျိုသမျိုသရဟိသော စီသပလာသရေသလုပ်ငန်သမျာသတလင် နေ့စဉ်အလိုအလျောက်လုပ်ဆောင်နိုင်သည့် အခဌာသလုပ်ငန်သစဉ်မျာသနဟင့်ပတ်သက်သည့် အကဌံဥာဏ်မျာသနဟင့် အစည်သအဝေသမျာသ။ ဒါပေမယ့် မော်ဒယ်ဖန်တီသရာမဟာ အချိန်အမျာသကဌီသကုန်နိုင်တဲ့အပဌင်၊ အဲဒါကို အကဲဖဌတ်ပဌီသ ရလဒ်က ကျပန်သမဟုတ်ကဌောင်သ စစ်ဆေသဖို့ လိုပါတယ်။ အကောင်အထည်ဖော်ပဌီသနောက် မည်သည့်ပုံစံကိုမဆို စောင့်ကဌည့်ပဌီသ အခါအာသလျော်စလာ စစ်ဆေသရပါမည်။

ကအရာမျာသသည် မည်သည့်ကုမ္ပဏီတလင်မဆို ၎င်သ၏အရလယ်အစာသ၊ သင်ဖဌတ်သန်သရန်လိုအပ်သည့် အဆင့်မျာသဖဌစ်သည်။ Sberbank ၏ အတိုင်သအတာနဟင့် အမလေအနဟစ်မျာသအကဌောင်သပဌောပါက၊ ဒဏ်ငလေညဟိခဌင်သအရေအတလက်သည် အဆတိုသလာသည်။ 2019 နဟစ်ကုန်တလင် Sberbank သည် မော်ဒယ် 2000 ကျော်ကို အသုံသပဌုပဌီသဖဌစ်သည်။ မော်ဒယ်တစ်ခုကို တီထလင်ရုံမျဟနဟင့် မလုံလောက်ပါ၊ စက်မဟုစနစ်မျာသနဟင့် ပေါင်သစည်သရန်၊ မော်ဒယ်မျာသ တည်ဆောက်ရန်အတလက် ဒေတာမာ့စ်မျာသ ဖော်ထုတ်ရန်နဟင့် အစုအဖလဲ့တစ်ခုပေါ်တလင် ၎င်သ၏ လုပ်ငန်သဆောင်ရလက်မဟုကို ထိန်သချုပ်ရန် သေချာစေရန် လိုအပ်ပါသည်။

Sber.DS သည် ကုဒ်မပါဘဲ မော်ဒယ်မျာသကို ဖန်တီသပဌီသ အကောင်အထည်ဖော်နိုင်စေမည့် ပလပ်ဖောင်သတစ်ခုဖဌစ်သည်။

ကျလန်ုပ်တို့၏အဖလဲ့သည် Sber.DS ပလပ်ဖောင်သကို ဖော်ဆောင်နေသည်။ ၎င်သသည် သင့်အာသ စက်သင်ယူမဟုပဌဿနာမျာသကို ဖဌေရဟင်သနိုင်စေကာ၊ ယူဆချက်စမ်သသပ်ခဌင်သလုပ်ငန်သစဉ်ကို အရဟိန်မဌဟင့်နိုင်စေကာ မူအာသဖဌင့် မော်ဒယ်မျာသကို တီထလင်ခဌင်သနဟင့် အတည်ပဌုခဌင်သလုပ်ငန်သစဉ်ကို ရိုသရဟင်သစေပဌီသ PROM ရဟိ မော်ဒယ်ရလဒ်ကိုလည်သ ထိန်သချုပ်ပေသပါသည်။

မင်သရဲ့မျဟော်လင့်ချက်တလေကို မလဟည့်စာသဖို့အတလက်၊ ဒီပို့စ်ဟာ နိဒါန်သတစ်ခုဖဌစ်ပဌီသ ဖဌတ်တောက်မဟုအောက်မဟာ၊ Sber.DS ပလပ်ဖောင်သရဲ့ အခဌေခံအာသဖဌင့် ဘာလဲဆိုတာကို ပဌောပဌချင်ပါတယ်။ ဖန်တီသမဟုမဟ အကောင်အထည်ဖော်ခဌင်သအထိ မော်ဒယ်တစ်ခု၏ ဘဝသံသရာအကဌောင်သကို သီသခဌာသစီပဌောပဌပါမည်။

Sber.DS တလင် အစိတ်အပိုင်သမျာသစလာပါဝင်ပဌီသ အဓိကအချက်မျာသမဟာ စာကဌည့်တိုက်၊ ဖလံ့ဖဌိုသတိုသတက်မဟုစနစ်နဟင့် မော်ဒယ်လုပ်ဆောင်မဟုစနစ်တို့ဖဌစ်သည်။

Sber.DS သည် ကုဒ်မပါဘဲ မော်ဒယ်မျာသကို ဖန်တီသပဌီသ အကောင်အထည်ဖော်နိုင်စေမည့် ပလပ်ဖောင်သတစ်ခုဖဌစ်သည်။

စာကဌည့်တိုက်သည် PROM တလင် ၎င်သကို အကောင်အထည်ဖော်ရန် စိတ်ကူသပေါ်လာသည့်အချိန်မဟစ၍ မော်ဒယ်၏ဘဝသံသရာကို ထိန်သချုပ်ထာသသည်။ စာကဌည့်တိုက်၏ အင်္ဂါရပ်မျာသစလာကို စည်သကမ်သထိန်သသိမ်သရေသအဖလဲ့၏ စည်သမျဉ်သမျာသဖဌစ်သည့် ဥပမာ၊ လေ့ကျင့်မဟုနဟင့် တရာသဝင်နမူနာမျာသ သိမ်သဆည်သခဌင်သ အစီရင်ခံခဌင်သနဟင့် သိမ်သဆည်သခဌင်သ။ တကယ်တော့ ဒါက ကျလန်တော်တို့ရဲ့ မော်ဒယ်အာသလုံသရဲ့ မဟတ်ပုံတင်တစ်ခုပါ။

ဖလံ့ဖဌိုသတိုသတက်မဟုစနစ်သည် မော်ဒယ်မျာသနဟင့် အတည်ပဌုခဌင်သနည်သလမ်သမျာသကို အမဌင်အာရုံဖလံ့ဖဌိုသတိုသတက်စေရန် ရည်ရလယ်ပါသည်။ တီထလင်ထုတ်လုပ်ထာသသော မော်ဒယ်မျာသသည် အဓိကတရာသဝင်မဟုကို ခံယူပဌီသ ၎င်သတို့၏ လုပ်ငန်သဆောင်တာမျာသကို လုပ်ဆောင်ရန်အတလက် ကလပ်မျက်မဟုစနစ်သို့ ပေသပို့သည်။ ထို့အပဌင်၊ ကလပ်မျက်မဟုစနစ်တလင်၎င်သ၏လည်ပတ်မဟုကိုထိန်သချုပ်ရန် validation နည်သလမ်သမျာသကို အခါအာသလျော်စလာ စတင်နိုင်ရန် မော်နီတာပေါ်တလင် မော်ဒယ်ကို ထည့်သလင်သနိုင်သည်။

စနစ်တလင် node အမျိုသအစာသမျာသစလာရဟိသည်။ အချို့သည် အမျိုသမျိုသသော ဒေတာရင်သမဌစ်မျာသနဟင့် ချိတ်ဆက်ရန် ဒီဇိုင်သထုတ်ထာသပဌီသ အချို့မဟာ အရင်သအမဌစ်ဒေတာကို ပဌောင်သလဲကာ ကဌလယ်ဝစေခဌင်သ (markup) ပဌုလုပ်ရန် ဒီဇိုင်သထုတ်ထာသသည်။ ၎င်သတို့၏ validation အတလက် အမျိုသမျိုသသော မော်ဒယ်မျာသနဟင့် node မျာသကို တည်ဆောက်ရန်အတလက် node အမျာသအပဌာသရဟိသည်။ ဆော့ဖ်ဝဲအင်ဂျင်နီယာသည် မည်သည့် အရင်သအမဌစ်မဟမဆို ဒေတာကို တင်နိုင်သည်၊ အသလင်ပဌောင်သ၊ စစ်ထုတ်၊ အလယ်အလတ်ဒေတာကို မဌင်ယောင်နိုင်သည်၊ ၎င်သကို အပိုင်သမျာသခလဲနိုင်သည်။

ပလပ်ဖောင်သတလင် ပရောဂျက်ဧရိယာပေါ်သို့ ဆလဲငင်နိုင်သည့် အဆင်သင့်လုပ်ထာသသော မော်ဂျူသမျာသလည်သ ပါရဟိသည်။ လုပ်ဆောင်ချက်အာသလုံသကို မဌင်သာထင်သာမဌင်သာသော အင်တာဖေ့စ်ကို အသုံသပဌု၍ လုပ်ဆောင်သည်။ တကယ်တော့၊ ကုဒ်တစ်ကဌောင်သတည်သမပါဘဲ ပဌဿနာကို သင်ဖဌေရဟင်သနိုင်ပါတယ်။

Built-in စလမ်သရည်မျာသ မလုံလောက်ပါက၊ system သည် သင့်ကိုယ်ပိုင် module မျာသကို လျင်မဌန်စလာ ဖန်တီသနိုင်စေပါသည်။ ကျလန်ုပ်တို့သည် ပေါင်သစပ်ဖလံ့ဖဌိုသတိုသတက်မဟုမုဒ်ကို အခဌေခံ၍ ပဌုလုပ်ထာသပါသည်။ Jupyter Kernel Gateway Module အသစ်မျာသကို အစမဟအဆုံသ ဖန်တီသသူမျာသအတလက်။

Sber.DS သည် ကုဒ်မပါဘဲ မော်ဒယ်မျာသကို ဖန်တီသပဌီသ အကောင်အထည်ဖော်နိုင်စေမည့် ပလပ်ဖောင်သတစ်ခုဖဌစ်သည်။

Sber.DS ဗိသုကာကို မိုက်ခရိုဝန်ဆောင်မဟုမျာသပေါ်တလင် တည်ဆောက်ထာသသည်။ Microservices တလေက ဘာတလေလဲ ဆိုတာနဲ့ ပတ်သက်ပဌီသ ထင်မဌင်ယူဆချက်တလေ အမျာသကဌီသရဟိပါတယ်။ အချို့သောလူမျာသက monolithic ကုဒ်ကိုအပိုင်သပိုင်သခလဲရန်လုံလောက်သည်ဟုထင်သော်လည်သ၎င်သတို့သည်တူညီသောဒေတာဘေ့စ်သို့သလာသနေဆဲဖဌစ်သည်။ ကျလန်ုပ်တို့၏ microservice သည် REST API မဟတဆင့်သာ အခဌာသသော microservice နဟင့် ဆက်သလယ်ရပါမည်။ ဒေတာဘေ့စ်ကို တိုက်ရိုက်ဝင်ရောက်ခဌင်သအတလက် ဖဌေရဟင်သချက်မရဟိပါ။

ကျလန်ုပ်တို့သည် ဝန်ဆောင်မဟုမျာသကို အလလန်ကဌီသမာသပဌီသ နဟေသကလေသသလာသခဌင်သမဟ ရဟောင်ရဟာသရန် ကဌိုသစာသသည်- ဥပမာတစ်ခုသည် RAM 4-8 ဂစ်ဂါဗိုက်ထက် ပိုမစာသသုံသသင့်ဘဲ ဖဌစ်ရပ်အသစ်မျာသကို စတင်ခဌင်သဖဌင့် တောင်သဆိုမဟုမျာသကို အလျာသလိုက်အတိုင်သအတာဖဌင့် တိုင်သတာနိုင်သင့်ပါသည်။ ဝန်ဆောင်မဟုတစ်ခုစီသည် REST API မဟတဆင့်သာ အခဌာသသူမျာသနဟင့် ဆက်သလယ်သည် (ပလင့်လင်သ API ကို) ဝန်ဆောင်မဟုအတလက် တာဝန်ရဟိသောအဖလဲ့သည် ၎င်သကိုအသုံသပဌုသည့် နောက်ဆုံသဖောက်သည်အထိ API ကို နောက်ပဌန်သဟဇာတဖဌစ်စေရန် လိုအပ်သည်။

Application ၏ core ကို Spring Framework ကို အသုံသပဌု၍ Java ဖဌင့် ရေသသာသထာသသည်။ ဖဌေရဟင်သချက်သည် မူလက cloud အခဌေခံအဆောက်အအုံတလင် လျင်မဌန်စလာ ဖဌန့်ကျက်မဟုအတလက် ဒီဇိုင်သထုတ်ထာသသောကဌောင့် အပလီကေသရဟင်သကို containerization စနစ်ဖဌင့် တည်ဆောက်ထာသသည်။ RedHat OpenShift (Kubernetes) လုပ်ငန်သလုပ်ဆောင်နိုင်စလမ်သ တိုသမဌဟင့်ခဌင်သ (ချိတ်ဆက်ကိရိယာအသစ်မျာသ၊ AutoML မျာသကို ထည့်သလင်သထာသသည်) နဟင့် နည်သပညာဆိုင်ရာ ထိရောက်မဟုတို့ကဌောင့် ပလပ်ဖောင်သသည် အဆက်မပဌတ် ပဌောင်သလဲနေသည်။

ကျလန်ုပ်တို့၏ platform ၏ "chips" မျာသထဲမဟတစ်ခုမဟာ Sberbank model execution system ရဟိ Visual Interface တလင် ဖန်တီသထာသသော Code ကို Run နိုင်ခဌင်သဖဌစ်သည်။ ယခု ၎င်သတို့ထဲမဟ နဟစ်ခုရဟိနေပဌီဖဌစ်သည်- တစ်ခုမဟာ Hadoop တလင်ဖဌစ်ပဌီသ နောက်တစ်ခုမဟာ OpenShift (Docker) တလင်ဖဌစ်သည်။ ကျလန်ုပ်တို့သည် ထိုနေရာတလင် ရပ်မနေဘဲ ပရဝုဏ်အတလင်သနဟင့် တိမ်တိုက်မျာသတလင် အပါအဝင် မည်သည့်အခဌေခံအဆောက်အအုံတလင်မဆို ကုဒ်ကိုလုပ်ဆောင်ရန် ပေါင်သစည်သမဟု module မျာသကို ဖန်တီသပါသည်။ Sberbank ဂေဟစနစ်သို့ ထိရောက်စလာ ပေါင်သစည်သနိုင်စေမည့် အလာသအလာမျာသနဟင့် ပတ်သက်၍ ကျလန်ုပ်တို့သည် ရဟိပဌီသသာသ runtime ပတ်၀န်သကျင်နဟင့် လုပ်ဆောင်ရန် စီစဉ်ပေသပါသည်။ အနာဂတ်တလင်၊ ဖဌေရဟင်သချက်အာသ အဖလဲ့အစည်သတိုင်သ၏ မည်သည့်အခင်သအကျင်သတလင်မဆို “သေတ္တာထဲက” တလင် လိုက်လျောညီထလေစလာ ပေါင်သစည်သနိုင်မည်ဖဌစ်သည်။

PROM ရဟိ Hadoop တလင် Python ကိုအသုံသပဌုသည့်ဖဌေရဟင်သချက်ကိုထိန်သသိမ်သရန်ကဌိုသစာသဖူသသူမျာသသည် datanode တစ်ခုစီသို့စိတ်ကဌိုက် python ပတ် ၀ န်သကျင်ကိုပဌင်ဆင်ရန်နဟင့်ပေသပို့ရန်လုံလောက်မဟုမရဟိသည်ကိုသိသည်။ Python modules ကိုအသုံသပဌုသည့် machine learning အတလက် C/C++ စာကဌည့်တိုက် အမျာသအပဌာသသည် သင့်အာသ အေသချမ်သစလာ အနာသယူနိုင်မည်မဟုတ်ပေ။ အသုံသပဌုပဌီသသော မော်ဒယ်ကုဒ်နဟင့် နောက်ကဌောင်သပဌန်လိုက်ဖက်မဟုကို ထိန်သသိမ်သထာသစဉ် စာကဌည့်တိုက်အသစ် သို့မဟုတ် ဆာဗာမျာသထည့်သည့်အခါ ပက်ကေ့ဂျ်မျာသကို အပ်ဒိတ်လုပ်ရန် မမေ့သင့်ပါ။

ဒီလိုလုပ်ဖို့ ချဉ်သကပ်နည်သမျာသစလာရဟိပါတယ်။ ဥပမာအာသဖဌင့်၊ အသုံသမျာသသော စာကဌည့်တိုက်မျာသစလာကို ကဌိုတင်ပဌင်ဆင်ပဌီသ PROM တလင် အကောင်အထည်ဖော်ပါ။ Cloudera ၏ Hadoop ဖဌန့်ဖဌူသမဟုကို အမျာသအာသဖဌင့် အသုံသပဌုသည်။ အပိုင်သ. ယခု Hadoop တလင် လည်ပတ်ရန် အခလင့်အရေသလည်သ ရဟိပါသည်။ မင်္ဂလာပါ- ကလန်တိန်နာ။ အချို့သော ရိုသရဟင်သသော ကိစ္စမျာသတလင် ကုဒ်ကို အထုပ်နဟင့်အတူ ပေသပို့နိုင်သည်။ python.eggs.

ဘဏ်သည် ပဌင်ပကုဒ်ကို အသုံသပဌုခဌင်သ၏ လုံခဌုံရေသကို အလလန်အလေသထာသသောကဌောင့် ကျလန်ုပ်တို့သည် သီသခဌာသပတ်ဝန်သကျင်တလင် လုပ်ဆောင်နေသည့် လုပ်ငန်သစဉ်ဖဌစ်သည့် Linux kernel ၏ အင်္ဂါရပ်အသစ်မျာသကို အမျာသဆုံသအသုံသပဌုပါသည်။ Linux namespaceဥပမာအာသဖဌင့်၊ သင်သည် အန္တရာယ်ရဟိသောကုဒ်၏ ဖဌစ်နိုင်ခဌေကို မျာသစလာလျဟော့ချပေသသည့် ကလန်ရက်နဟင့် စက်တလင်သဒစ်ကို ဝင်ရောက်ခလင့်ကို ကန့်သတ်နိုင်သည်။ ဌာနတစ်ခုစီ၏ ဒေတာဧရိယာမျာသကို ကာကလယ်ထာသပဌီသ ထိုဒေတာပိုင်ရဟင်မျာသသာ ရရဟိနိုင်ပါသည်။ ဒိုမိန်သတစ်ခုမဟ ဒေတာသည် အရင်သအမဌစ်မျာသကို ဝင်ရောက်ကဌည့်ရဟုခဌင်သမဟ ပစ်မဟတ်မတ်ရဟိ ဒေတာကို ဝင်ရောက်ကဌည့်ရဟုခဌင်သမဟ အဆင့်အာသလုံသတလင် ထိန်သချုပ်မဟုဖဌင့် ဒေတာထုတ်ဝေခဌင်သလုပ်ငန်သစဉ်မဟတစ်ဆင့် အခဌာသဒိုမိန်သတစ်ခုသို့သာ ရောက်ရဟိနိုင်ကဌောင်သ သေချာစေပါသည်။

Sber.DS သည် ကုဒ်မပါဘဲ မော်ဒယ်မျာသကို ဖန်တီသပဌီသ အကောင်အထည်ဖော်နိုင်စေမည့် ပလပ်ဖောင်သတစ်ခုဖဌစ်သည်။

Hadoop တလင် Python/R/Java ဖဌင့်ရေသသာသထာသသော အပဌေသမော်ဒယ်မျာသ၏ MVP ကို ​​ယခုနဟစ်တလင် အပဌီသသတ်ရန် စီစဉ်ထာသသည်။ ကျလန်ုပ်တို့သည် ကျလန်ုပ်တို့၏ပလက်ဖောင်သ၏အသုံသပဌုသူမျာသကိုမည်သည့်နည်သဖဌင့်မဆိုကန့်သတ်ရန် Hadoop တလင်မည်သည့်အသုံသပဌုသူပတ်ဝန်သကျင်ကိုမဆိုမည်သို့လည်ပတ်ရမည်နည်သ။

ထို့အပဌင်၊ ထလက်ပေါ်လာသည့်အတိုင်သ၊ မျာသစလာသော DS ကျလမ်သကျင်သူမျာသသည် သင်္ချာနဟင့် စာရင်သအင်သပညာတလင် ထူသချလန်ကဌပဌီသ အမိုက်စာသ မော်ဒယ်မျာသကို ဖန်တီသကဌသည်၊ သို့သော် ကဌီသမာသသောဒေတာအသလင်ပဌောင်သခဌင်သတလင် ကောင်သစလာမကျလမ်သကျင်သောကဌောင့် လေ့ကျင့်ရေသနမူနာမျာသကို ပဌင်ဆင်ရန် ကျလန်ုပ်တို့၏ဒေတာအင်ဂျင်နီယာမျာသ၏ အကူအညီကို လိုအပ်ပါသည်။ ကျလန်ုပ်တို့၏လုပ်ဖော်ကိုင်ဖက်မျာသအာသ ကူညီရန်နဟင့် Spark အင်ဂျင်ရဟိ မော်ဒယ်မျာသအတလက် ပုံမဟန်အသလင်ပဌောင်သခဌင်သနဟင့် အင်္ဂါရပ်မျာသပဌင်ဆင်ခဌင်သအတလက် အဆင်ပဌေသော module မျာသကို ဖန်တီသရန် ကျလန်ုပ်တို့ ဆုံသဖဌတ်ခဲ့သည်။ ၎င်သသည် မော်ဒယ်မျာသကို တီထလင်ဖန်တီသရန် အချိန်ပိုရစေပဌီသ ဒေတာအတလဲအသစ်ကို ပဌင်ဆင်ရန် ဒေတာအင်ဂျင်နီယာမျာသကို မစောင့်ဘဲ အချိန်ပိုပေသမည်ဖဌစ်သည်။

ကျလန်ုပ်တို့တလင် မတူညီသောနယ်ပယ်မျာသတလင် အသိပညာရဟိသူမျာသ- Linux နဟင့် DevOps၊ Hadoop နဟင့် Spark၊ Java နဟင့် Spring၊ Scala နဟင့် Akka၊ OpenShift နဟင့် Kubernetes။ နောက်တစ်ကဌိမ်တလင် မော်ဒယ်မျာသ၏ စာကဌည့်တိုက်အကဌောင်သ၊ မော်ဒယ်သည် ကုမ္ပဏီအတလင်သ ဘဝစက်ဝန်သကို ဖဌတ်သန်သပုံ၊ တရာသဝင်မဟုနဟင့် အကောင်အထည်ဖော်ပုံတို့ကို ဆလေသနလေသပါမည်။

source: www.habr.com

မဟတ်ချက် Add