Sber.DS သည် ကုဒ်မပါဘဲ မော်ဒယ်များကို ဖန်တီးပြီး အကောင်အထည်ဖော်နိုင်စေမည့် ပလပ်ဖောင်းတစ်ခုဖြစ်သည်။

အရွယ်အစားအမျိုးမျိုးရှိသော စီးပွားရေးလုပ်ငန်းများတွင် နေ့စဉ်အလိုအလျောက်လုပ်ဆောင်နိုင်သည့် အခြားလုပ်ငန်းစဉ်များနှင့်ပတ်သက်သည့် အကြံဥာဏ်များနှင့် အစည်းအဝေးများ။ ဒါပေမယ့် မော်ဒယ်ဖန်တီးရာမှာ အချိန်အများကြီးကုန်နိုင်တဲ့အပြင်၊ အဲဒါကို အကဲဖြတ်ပြီး ရလဒ်က ကျပန်းမဟုတ်ကြောင်း စစ်ဆေးဖို့ လိုပါတယ်။ အကောင်အထည်ဖော်ပြီးနောက် မည်သည့်ပုံစံကိုမဆို စောင့်ကြည့်ပြီး အခါအားလျော်စွာ စစ်ဆေးရပါမည်။

ဤအရာများသည် မည်သည့်ကုမ္ပဏီတွင်မဆို ၎င်း၏အရွယ်အစား၊ သင်ဖြတ်သန်းရန်လိုအပ်သည့် အဆင့်များဖြစ်သည်။ Sberbank ၏ အတိုင်းအတာနှင့် အမွေအနှစ်များအကြောင်းပြောပါက၊ ဒဏ်ငွေညှိခြင်းအရေအတွက်သည် အဆတိုးလာသည်။ 2019 နှစ်ကုန်တွင် Sberbank သည် မော်ဒယ် 2000 ကျော်ကို အသုံးပြုပြီးဖြစ်သည်။ မော်ဒယ်တစ်ခုကို တီထွင်ရုံမျှနှင့် မလုံလောက်ပါ၊ စက်မှုစနစ်များနှင့် ပေါင်းစည်းရန်၊ မော်ဒယ်များ တည်ဆောက်ရန်အတွက် ဒေတာမာ့စ်များ ဖော်ထုတ်ရန်နှင့် အစုအဖွဲ့တစ်ခုပေါ်တွင် ၎င်း၏ လုပ်ငန်းဆောင်ရွက်မှုကို ထိန်းချုပ်ရန် သေချာစေရန် လိုအပ်ပါသည်။

ကျွန်ုပ်တို့၏အဖွဲ့သည် Sber.DS ပလပ်ဖောင်းကို ဖော်ဆောင်နေသည်။ ၎င်းသည် သင့်အား စက်သင်ယူမှုပြဿနာများကို ဖြေရှင်းနိုင်စေကာ၊ ယူဆချက်စမ်းသပ်ခြင်းလုပ်ငန်းစဉ်ကို အရှိန်မြှင့်နိုင်စေကာ မူအားဖြင့် မော်ဒယ်များကို တီထွင်ခြင်းနှင့် အတည်ပြုခြင်းလုပ်ငန်းစဉ်ကို ရိုးရှင်းစေပြီး PROM ရှိ မော်ဒယ်ရလဒ်ကိုလည်း ထိန်းချုပ်ပေးပါသည်။

မင်းရဲ့မျှော်လင့်ချက်တွေကို မလှည့်စားဖို့အတွက်၊ ဒီပို့စ်ဟာ နိဒါန်းတစ်ခုဖြစ်ပြီး ဖြတ်တောက်မှုအောက်မှာ၊ Sber.DS ပလပ်ဖောင်းရဲ့ အခြေခံအားဖြင့် ဘာလဲဆိုတာကို ပြောပြချင်ပါတယ်။ ဖန်တီးမှုမှ အကောင်အထည်ဖော်ခြင်းအထိ မော်ဒယ်တစ်ခု၏ ဘဝသံသရာအကြောင်းကို သီးခြားစီပြောပြပါမည်။

Sber.DS တွင် အစိတ်အပိုင်းများစွာပါဝင်ပြီး အဓိကအချက်များမှာ စာကြည့်တိုက်၊ ဖွံ့ဖြိုးတိုးတက်မှုစနစ်နှင့် မော်ဒယ်လုပ်ဆောင်မှုစနစ်တို့ဖြစ်သည်။

စာကြည့်တိုက်သည် PROM တွင် ၎င်းကို အကောင်အထည်ဖော်ရန် စိတ်ကူးပေါ်လာသည့်အချိန်မှစ၍ မော်ဒယ်၏ဘဝသံသရာကို ထိန်းချုပ်ထားသည်။ စာကြည့်တိုက်၏ အင်္ဂါရပ်များစွာကို စည်းကမ်းထိန်းသိမ်းရေးအဖွဲ့၏ စည်းမျဉ်းများဖြစ်သည့် ဥပမာ၊ လေ့ကျင့်မှုနှင့် တရားဝင်နမူနာများ သိမ်းဆည်းခြင်း အစီရင်ခံခြင်းနှင့် သိမ်းဆည်းခြင်း။ တကယ်တော့ ဒါက ကျွန်တော်တို့ရဲ့ မော်ဒယ်အားလုံးရဲ့ မှတ်ပုံတင်တစ်ခုပါ။

ဖွံ့ဖြိုးတိုးတက်မှုစနစ်သည် မော်ဒယ်များနှင့် အတည်ပြုခြင်းနည်းလမ်းများကို အမြင်အာရုံဖွံ့ဖြိုးတိုးတက်စေရန် ရည်ရွယ်ပါသည်။ တီထွင်ထုတ်လုပ်ထားသော မော်ဒယ်များသည် အဓိကတရားဝင်မှုကို ခံယူပြီး ၎င်းတို့၏ လုပ်ငန်းဆောင်တာများကို လုပ်ဆောင်ရန်အတွက် ကွပ်မျက်မှုစနစ်သို့ ပေးပို့သည်။ ထို့အပြင်၊ ကွပ်မျက်မှုစနစ်တွင်၎င်း၏လည်ပတ်မှုကိုထိန်းချုပ်ရန် validation နည်းလမ်းများကို အခါအားလျော်စွာ စတင်နိုင်ရန် မော်နီတာပေါ်တွင် မော်ဒယ်ကို ထည့်သွင်းနိုင်သည်။

စနစ်တွင် node အမျိုးအစားများစွာရှိသည်။ အချို့သည် အမျိုးမျိုးသော ဒေတာရင်းမြစ်များနှင့် ချိတ်ဆက်ရန် ဒီဇိုင်းထုတ်ထားပြီး အချို့မှာ အရင်းအမြစ်ဒေတာကို ပြောင်းလဲကာ ကြွယ်ဝစေခြင်း (markup) ပြုလုပ်ရန် ဒီဇိုင်းထုတ်ထားသည်။ ၎င်းတို့၏ validation အတွက် အမျိုးမျိုးသော မော်ဒယ်များနှင့် node များကို တည်ဆောက်ရန်အတွက် node အများအပြားရှိသည်။ ဆော့ဖ်ဝဲအင်ဂျင်နီယာသည် မည်သည့် အရင်းအမြစ်မှမဆို ဒေတာကို တင်နိုင်သည်၊ အသွင်ပြောင်း၊ စစ်ထုတ်၊ အလယ်အလတ်ဒေတာကို မြင်ယောင်နိုင်သည်၊ ၎င်းကို အပိုင်းများခွဲနိုင်သည်။

ပလပ်ဖောင်းတွင် ပရောဂျက်ဧရိယာပေါ်သို့ ဆွဲငင်နိုင်သည့် အဆင်သင့်လုပ်ထားသော မော်ဂျူးများလည်း ပါရှိသည်။ လုပ်ဆောင်ချက်အားလုံးကို မြင်သာထင်သာမြင်သာသော အင်တာဖေ့စ်ကို အသုံးပြု၍ လုပ်ဆောင်သည်။ တကယ်တော့၊ ကုဒ်တစ်ကြောင်းတည်းမပါဘဲ ပြဿနာကို သင်ဖြေရှင်းနိုင်ပါတယ်။

Built-in စွမ်းရည်များ မလုံလောက်ပါက၊ system သည် သင့်ကိုယ်ပိုင် module များကို လျင်မြန်စွာ ဖန်တီးနိုင်စေပါသည်။ ကျွန်ုပ်တို့သည် ပေါင်းစပ်ဖွံ့ဖြိုးတိုးတက်မှုမုဒ်ကို အခြေခံ၍ ပြုလုပ်ထားပါသည်။ Jupyter Kernel Gateway Module အသစ်များကို အစမှအဆုံး ဖန်တီးသူများအတွက်။

Sber.DS ဗိသုကာကို မိုက်ခရိုဝန်ဆောင်မှုများပေါ်တွင် တည်ဆောက်ထားသည်။ Microservices တွေက ဘာတွေလဲ ဆိုတာနဲ့ ပတ်သက်ပြီး ထင်မြင်ယူဆချက်တွေ အများကြီးရှိပါတယ်။ အချို့သောလူများက monolithic ကုဒ်ကိုအပိုင်းပိုင်းခွဲရန်လုံလောက်သည်ဟုထင်သော်လည်း၎င်းတို့သည်တူညီသောဒေတာဘေ့စ်သို့သွားနေဆဲဖြစ်သည်။ ကျွန်ုပ်တို့၏ microservice သည် REST API မှတဆင့်သာ အခြားသော microservice နှင့် ဆက်သွယ်ရပါမည်။ ဒေတာဘေ့စ်ကို တိုက်ရိုက်ဝင်ရောက်ခြင်းအတွက် ဖြေရှင်းချက်မရှိပါ။

ကျွန်ုပ်တို့သည် ဝန်ဆောင်မှုများကို အလွန်ကြီးမားပြီး နှေးကွေးသွားခြင်းမှ ရှောင်ရှားရန် ကြိုးစားသည်- ဥပမာတစ်ခုသည် RAM 4-8 ဂစ်ဂါဗိုက်ထက် ပိုမစားသုံးသင့်ဘဲ ဖြစ်ရပ်အသစ်များကို စတင်ခြင်းဖြင့် တောင်းဆိုမှုများကို အလျားလိုက်အတိုင်းအတာဖြင့် တိုင်းတာနိုင်သင့်ပါသည်။ ဝန်ဆောင်မှုတစ်ခုစီသည် REST API မှတဆင့်သာ အခြားသူများနှင့် ဆက်သွယ်သည် (ပွင့်လင်း API ကို) ဝန်ဆောင်မှုအတွက် တာဝန်ရှိသောအဖွဲ့သည် ၎င်းကိုအသုံးပြုသည့် နောက်ဆုံးဖောက်သည်အထိ API ကို နောက်ပြန်သဟဇာတဖြစ်စေရန် လိုအပ်သည်။

Application ၏ core ကို Spring Framework ကို အသုံးပြု၍ Java ဖြင့် ရေးသားထားသည်။ ဖြေရှင်းချက်သည် မူလက cloud အခြေခံအဆောက်အအုံတွင် လျင်မြန်စွာ ဖြန့်ကျက်မှုအတွက် ဒီဇိုင်းထုတ်ထားသောကြောင့် အပလီကေးရှင်းကို containerization စနစ်ဖြင့် တည်ဆောက်ထားသည်။ RedHat OpenShift (Kubernetes) လုပ်ငန်းလုပ်ဆောင်နိုင်စွမ်း တိုးမြှင့်ခြင်း (ချိတ်ဆက်ကိရိယာအသစ်များ၊ AutoML များကို ထည့်သွင်းထားသည်) နှင့် နည်းပညာဆိုင်ရာ ထိရောက်မှုတို့ကြောင့် ပလပ်ဖောင်းသည် အဆက်မပြတ် ပြောင်းလဲနေသည်။

ကျွန်ုပ်တို့၏ platform ၏ "chips" များထဲမှတစ်ခုမှာ Sberbank model execution system ရှိ Visual Interface တွင် ဖန်တီးထားသော Code ကို Run နိုင်ခြင်းဖြစ်သည်။ ယခု ၎င်းတို့ထဲမှ နှစ်ခုရှိနေပြီဖြစ်သည်- တစ်ခုမှာ Hadoop တွင်ဖြစ်ပြီး နောက်တစ်ခုမှာ OpenShift (Docker) တွင်ဖြစ်သည်။ ကျွန်ုပ်တို့သည် ထိုနေရာတွင် ရပ်မနေဘဲ ပရဝုဏ်အတွင်းနှင့် တိမ်တိုက်များတွင် အပါအဝင် မည်သည့်အခြေခံအဆောက်အအုံတွင်မဆို ကုဒ်ကိုလုပ်ဆောင်ရန် ပေါင်းစည်းမှု module များကို ဖန်တီးပါသည်။ Sberbank ဂေဟစနစ်သို့ ထိရောက်စွာ ပေါင်းစည်းနိုင်စေမည့် အလားအလာများနှင့် ပတ်သက်၍ ကျွန်ုပ်တို့သည် ရှိပြီးသား runtime ပတ်၀န်းကျင်နှင့် လုပ်ဆောင်ရန် စီစဉ်ပေးပါသည်။ အနာဂတ်တွင်၊ ဖြေရှင်းချက်အား အဖွဲ့အစည်းတိုင်း၏ မည်သည့်အခင်းအကျင်းတွင်မဆို “သေတ္တာထဲက” တွင် လိုက်လျောညီထွေစွာ ပေါင်းစည်းနိုင်မည်ဖြစ်သည်။

PROM ရှိ Hadoop တွင် Python ကိုအသုံးပြုသည့်ဖြေရှင်းချက်ကိုထိန်းသိမ်းရန်ကြိုးစားဖူးသူများသည် datanode တစ်ခုစီသို့စိတ်ကြိုက် python ပတ် ၀ န်းကျင်ကိုပြင်ဆင်ရန်နှင့်ပေးပို့ရန်လုံလောက်မှုမရှိသည်ကိုသိသည်။ Python modules ကိုအသုံးပြုသည့် machine learning အတွက် C/C++ စာကြည့်တိုက် အများအပြားသည် သင့်အား အေးချမ်းစွာ အနားယူနိုင်မည်မဟုတ်ပေ။ အသုံးပြုပြီးသော မော်ဒယ်ကုဒ်နှင့် နောက်ကြောင်းပြန်လိုက်ဖက်မှုကို ထိန်းသိမ်းထားစဉ် စာကြည့်တိုက်အသစ် သို့မဟုတ် ဆာဗာများထည့်သည့်အခါ ပက်ကေ့ဂျ်များကို အပ်ဒိတ်လုပ်ရန် မမေ့သင့်ပါ။

ဒီလိုလုပ်ဖို့ ချဉ်းကပ်နည်းများစွာရှိပါတယ်။ ဥပမာအားဖြင့်၊ အသုံးများသော စာကြည့်တိုက်များစွာကို ကြိုတင်ပြင်ဆင်ပြီး PROM တွင် အကောင်အထည်ဖော်ပါ။ Cloudera ၏ Hadoop ဖြန့်ဖြူးမှုကို အများအားဖြင့် အသုံးပြုသည်။ အပိုင်း. ယခု Hadoop တွင် လည်ပတ်ရန် အခွင့်အရေးလည်း ရှိပါသည်။ မင်္ဂလာပါ- ကွန်တိန်နာ။ အချို့သော ရိုးရှင်းသော ကိစ္စများတွင် ကုဒ်ကို အထုပ်နှင့်အတူ ပေးပို့နိုင်သည်။ python.eggs.

ဘဏ်သည် ပြင်ပကုဒ်များကို လည်ပတ်ခြင်း၏ လုံခြုံရေးကို အလွန်အလေးအနက်ထားသောကြောင့် ကျွန်ုပ်တို့သည် kernel အင်္ဂါရပ်အသစ်များကို အမြင့်ဆုံးအသုံးချပါသည်။ Linuxလုပ်ငန်းစဉ်သည် သီးခြားပတ်ဝန်းကျင်တွင် လည်ပတ်နေသည့်နေရာတွင် Linux namespaceဥပမာအားဖြင့်၊ သင်သည် အန္တရာယ်ရှိသောကုဒ်၏ ဖြစ်နိုင်ခြေကို များစွာလျှော့ချပေးသည့် ကွန်ရက်နှင့် စက်တွင်းဒစ်ကို ဝင်ရောက်ခွင့်ကို ကန့်သတ်နိုင်သည်။ ဌာနတစ်ခုစီ၏ ဒေတာဧရိယာများကို ကာကွယ်ထားပြီး ထိုဒေတာပိုင်ရှင်များသာ ရရှိနိုင်ပါသည်။ ဒိုမိန်းတစ်ခုမှ ဒေတာသည် အရင်းအမြစ်များကို ဝင်ရောက်ကြည့်ရှုခြင်းမှ ပစ်မှတ်မတ်ရှိ ဒေတာကို ဝင်ရောက်ကြည့်ရှုခြင်းမှ အဆင့်အားလုံးတွင် ထိန်းချုပ်မှုဖြင့် ဒေတာထုတ်ဝေခြင်းလုပ်ငန်းစဉ်မှတစ်ဆင့် အခြားဒိုမိန်းတစ်ခုသို့သာ ရောက်ရှိနိုင်ကြောင်း သေချာစေပါသည်။

Hadoop တွင် Python/R/Java ဖြင့်ရေးသားထားသော အပြေးမော်ဒယ်များ၏ MVP ကို ​​ယခုနှစ်တွင် အပြီးသတ်ရန် စီစဉ်ထားသည်။ ကျွန်ုပ်တို့သည် ကျွန်ုပ်တို့၏ပလက်ဖောင်း၏အသုံးပြုသူများကိုမည်သည့်နည်းဖြင့်မဆိုကန့်သတ်ရန် Hadoop တွင်မည်သည့်အသုံးပြုသူပတ်ဝန်းကျင်ကိုမဆိုမည်သို့လည်ပတ်ရမည်နည်း။

ထို့အပြင်၊ ထွက်ပေါ်လာသည့်အတိုင်း၊ များစွာသော DS ကျွမ်းကျင်သူများသည် သင်္ချာနှင့် စာရင်းအင်းပညာတွင် ထူးချွန်ကြပြီး အမိုက်စား မော်ဒယ်များကို ဖန်တီးကြသည်၊ သို့သော် ကြီးမားသောဒေတာအသွင်ပြောင်းခြင်းတွင် ကောင်းစွာမကျွမ်းကျင်သောကြောင့် လေ့ကျင့်ရေးနမူနာများကို ပြင်ဆင်ရန် ကျွန်ုပ်တို့၏ဒေတာအင်ဂျင်နီယာများ၏ အကူအညီကို လိုအပ်ပါသည်။ ကျွန်ုပ်တို့၏လုပ်ဖော်ကိုင်ဖက်များအား ကူညီရန်နှင့် Spark အင်ဂျင်ရှိ မော်ဒယ်များအတွက် ပုံမှန်အသွင်ပြောင်းခြင်းနှင့် အင်္ဂါရပ်များပြင်ဆင်ခြင်းအတွက် အဆင်ပြေသော module များကို ဖန်တီးရန် ကျွန်ုပ်တို့ ဆုံးဖြတ်ခဲ့သည်။ ၎င်းသည် မော်ဒယ်များကို တီထွင်ဖန်တီးရန် အချိန်ပိုရစေပြီး ဒေတာအတွဲအသစ်ကို ပြင်ဆင်ရန် ဒေတာအင်ဂျင်နီယာများကို မစောင့်ဘဲ အချိန်ပိုပေးမည်ဖြစ်သည်။

ကျွန်ုပ်တို့သည် နယ်ပယ်အသီးသီးတွင် ဗဟုသုတရှိသူများကို အလုပ်ခန့်ထားပါသည်- Linux နှင့် DevOps၊ Hadoop နှင့် Spark၊ Java နှင့် Spring၊ Scala နှင့် Akka၊ OpenShift နှင့် Kubernetes တို့ဖြစ်သည်။ နောက်တစ်ကြိမ်တွင် မော်ဒယ်စာကြည့်တိုက်၊ မော်ဒယ်တစ်ခုသည် ကုမ္ပဏီတစ်ခုအတွင်း သက်တမ်းစက်ဝန်းတစ်လျှောက် မည်သို့ရွေ့လျားပုံနှင့် အတည်ပြုခြင်းနှင့် အကောင်အထည်ဖော်ခြင်း မည်သို့ဖြစ်ပေါ်ပုံတို့ကို ဆွေးနွေးကြပါမည်။

source: www.habr.com