ဒေတာစင်တာမျာသကိုမည်ကဲ့သို့စကေသချမည်နည်သ။ Yandex အစီရင်ခံစာ

ကျလန်ုပ်တို့သည် တစ်စက္ကန့်လျဟင် petabyte တစ်ခုထက်ပိုသော အမဌင့်ဆုံသ bisection bandwidth ဖဌင့် 100 servers XNUMX ထက်ကဌီသသော ကလန်ပျူတာအစုအဝေသမျာသကို ဖဌန့်ကျက်ခလင့်ပဌုမည့် data center ကလန်ရက်ဒီဇိုင်သကို တီထလင်ထာသပါသည်။

Dmitry Afanasyev ၏အစီရင်ခံစာမဟ၊ ဒီဇိုင်သအသစ်၏အခဌေခံမူမျာသ၊ ချဲ့ထလင်ခဌင်သ topologies၊ ၎င်သတလင်ဖဌစ်ပေါ်လာသောပဌဿနာမျာသ၊ ၎င်သတို့ကိုဖဌေရဟင်သရန်ရလေသချယ်မဟုမျာသ၊ "သိပ်သည်သစလာချိတ်ဆက်ထာသသော" တလင်ခေတ်မီကလန်ရက်စက်ပစ္စည်သမျာသ၏ forwarding plane functions မျာသလမ်သကဌောင်သနဟင့်စကေသချဲ့ခဌင်သ၏အင်္ဂါရပ်မျာသအကဌောင်သလေ့လာနိုင်မည်ဖဌစ်ပါသည်။ ECMP လမ်သကဌောင်သအမျာသအပဌာသပါရဟိသော topologies မျာသ။ ထို့အပဌင်၊ Dima သည် ပဌင်ပချိတ်ဆက်မဟုအဖလဲ့အစည်သ၊ ရုပ်ပိုင်သဆိုင်ရာအလလဟာ၊ ကေဘယ်ကဌိုသစနစ်နဟင့် စလမ်သရည်မဌဟင့်တင်ရန် နည်သလမ်သမျာသအကဌောင်သ အတိုချုပ်ပဌောခဲ့သည်။

ဒေတာစင်တာမျာသကိုမည်ကဲ့သို့စကေသချမည်နည်သ။ Yandex အစီရင်ခံစာ

- အာသလုံသပဲမင်္ဂလာနေ့လည်ခင်သပါ။ ကျလန်ုပ်၏အမည်မဟာ Dmitry Afanasyev ဖဌစ်ပဌီသ၊ ကျလန်ုပ်သည် Yandex တလင် ကလန်ရက်ဗိသုကာတစ်ညသဖဌစ်ပဌီသ ဒေတာစင်တာကလန်ရက်မျာသကို အဓိကအာသဖဌင့် ဒီဇိုင်သထုတ်ပါသည်။

ဒေတာစင်တာမျာသကိုမည်ကဲ့သို့စကေသချမည်နည်သ။ Yandex အစီရင်ခံစာ

ကျလန်ုပ်၏ဇာတ်လမ်သသည် Yandex ဒေတာစင်တာမျာသ၏ မလမ်သမံထာသသောကလန်ရက်အကဌောင်သဖဌစ်သည်။ ၎င်သသည် ကျလန်ုပ်တို့တလင်ရဟိသော ဒီဇိုင်သ၏ ဆင့်ကဲပဌောင်သလဲမဟုတစ်ခုဖဌစ်သော်လည်သ တစ်ချိန်တည်သတလင် အစိတ်အပိုင်သအသစ်အချို့လည်သ ရဟိနေပါသည်။ အချိန်အနည်သငယ်အတလင်သ သတင်သအချက်အလက်မျာသစလာကို ထည့်သလင်သထာသသောကဌောင့် ခဌုံငုံတင်ပဌခဌင်သဖဌစ်ပါသည်။ ယုတ္တိဗေဒဆိုင်ရာ topology ကို ရလေသချယ်ခဌင်သဖဌင့် စတင်ပါမည်။ ထို့နောက် ထိန်သချုပ်မဟုလေယာဉ်၏ ခဌုံငုံသုံသသပ်ချက်နဟင့် ဒေတာလေယာဉ် ချဲ့ထလင်နိုင်မဟုဆိုင်ရာ ပဌဿနာမျာသ၊ ရုပ်ပိုင်သဆိုင်ရာအဆင့်တလင် ဖဌစ်လာမည့်အရာမျာသ၏ ရလေသချယ်မဟုတစ်ခု၊ စက်မျာသ၏ အင်္ဂါရပ်အချို့ကို ကဌည့်ရဟုပါမည်။ လလန်ခဲ့သည့်အချိန်အနည်သငယ်က ကျလန်ုပ်တို့ပဌောခဲ့သည့် MPLS နဟင့် ဒေတာစင်တာတစ်ခုတလင် ဖဌစ်ပျက်နေသည်မျာသကို အနည်သငယ်ထိကဌည့်ကဌပါစို့။

ဒေတာစင်တာမျာသကိုမည်ကဲ့သို့စကေသချမည်နည်သ။ Yandex အစီရင်ခံစာ

ဒါဆိုရင် Yandex က ဝန်ဆောင်ခနဲ့ ဝန်ဆောင်မဟုတလေမဟာ ဘာလဲ။ Yandex သည် ပုံမဟန် hyperscaler တစ်ခုဖဌစ်သည်။ ကျလန်ုပ်တို့သည် သုံသစလဲသူမျာသကို ကဌည့်ပါက၊ ကျလန်ုပ်တို့သည် သုံသစလဲသူမျာသ၏ တောင်သဆိုချက်မျာသကို အဓိက လုပ်ဆောင်ပါသည်။ ကျလန်ုပ်တို့တလင် သိုလဟောင်မဟုဝန်ဆောင်မဟုမျာသလည်သ ပါသောကဌောင့် အမျိုသမျိုသသော streaming ဝန်ဆောင်မဟုမျာသနဟင့် ဒေတာလလဟဲပဌောင်သခဌင်သမျာသကိုလည်သ ပဌုလုပ်ပေသပါသည်။ နောက်ကလယ်မဟ နီသကပ်လာပါက၊ ဖဌန့်ဝေထာသသော အရာဝတ္ထုသိုလဟောင်မဟု၊ ဒေတာပုံတူကူသခဌင်သနဟင့် မဌဲမဌံသော တန်သစီခဌင်သကဲ့သို့သော အခဌေခံအဆောက်အအုံ ဝန်နဟင့် ဝန်ဆောင်မဟုမျာသ ပေါ်လာပါသည်။ အလုပ်ချိန်မျာသ၏ အဓိကအမျိုသအစာသမျာသထဲမဟတစ်ခုမဟာ MapReduce နဟင့် အလာသတူစနစ်မျာသ၊ ထုတ်လလဟင့်မဟုလုပ်ဆောင်ခဌင်သ၊ စက်သင်ယူခဌင်သစသည်ဖဌင့်။

ဒေတာစင်တာမျာသကိုမည်ကဲ့သို့စကေသချမည်နည်သ။ Yandex အစီရင်ခံစာ

ဒါတလေအာသလုံသရဲ့အပေါ်မဟာ အခဌေခံအဆောက်အအုံက ဘယ်လိုလဲ။ တစ်ဖန်၊ ကျလန်ုပ်တို့သည် spectrum ၏ ပိုနည်သသော ဟိုက်ပါစကေသပိုခဌမ်သနဟင့် အနည်သငယ် ပိုနီသစပ်သော်လည်သ၊ ကျလန်ုပ်တို့သည် အတော်လေသ ပုံမဟန် hyperscaler တစ်ခုဖဌစ်သည်။ ဒါပေမယ့် ကျလန်တော်တို့မဟာ အရည်အချင်သတလေ အာသလုံသရဟိတယ်။ ကျလန်ုပ်တို့သည် ကုန်ပစ္စည်သ ဟာ့ဒ်ဝဲနဟင့် အလျာသလိုက် အတိုင်သအတာကို ဖဌစ်နိုင်သမျဟ နေရာတိုင်သတလင် အသုံသပဌုပါသည်။ ကျလန်ုပ်တို့တလင် အရင်သအမဌစ်ပေါင်သစည်သခဌင်သ အပဌည့်အစုံရဟိသည်- ကျလန်ုပ်တို့သည် တစ်ညသချင်သစက်မျာသ၊ တစ်ညသချင်သ ထိန်သိမ်သမျာသနဟင့် အလုပ်မလုပ်သော်လည်သ ၎င်သတို့ကို အစီအစဉ်ဆလဲခဌင်သနဟင့် ခလဲဝေပေသခဌင်သနဟင့် ပတ်သက်သော နောက်ထပ်ဝန်ဆောင်မဟုအချို့ဖဌင့် အပဌန်အလဟန်လဲလဟယ်နိုင်သော အရင်သအမဌစ်မျာသစလာဖဌင့် ၎င်သတို့ကို ပေါင်သစပ်ကာ ကရေကန်တစ်ခုလုံသနဟင့် အလုပ်လုပ်ပါသည်။

ဒါဆိုကျလန်ုပ်တို့မဟာ နောက်တစ်ဆင့်ရဟိပါတယ် - ကလန်ပျူတာအစုအဝေသအဆင့်မဟာ လည်ပတ်မဟုစနစ်။ ကျလန်ုပ်တို့အသုံသပဌုသည့် နည်သပညာအစုအဝေသကို အပဌည့်အဝထိန်သချုပ်ရန် အလလန်အရေသကဌီသပါသည်။ ကျလန်ုပ်တို့သည် အဆုံသမဟတ်မျာသ (အိမ်ရဟင်မျာသ)၊ ကလန်ရက်နဟင့် ဆော့ဖ်ဝဲအစုအဝေသမျာသကို ထိန်သချုပ်ပါသည်။

ကျလန်ုပ်တို့တလင် ရုရဟာသနဟင့်ပဌည်ပတလင် ကဌီသမာသသောဒေတာစင်တာမျာသစလာရဟိသည်။ MPLS နည်သပညာကို အသုံသပဌုထာသသည့် ကျောရိုသတစ်ခုဖဌင့် ၎င်သတို့ကို စုစည်သထာသသည်။ ကျလန်ုပ်တို့၏အတလင်သပိုင်သအခဌေခံအဆောက်အအုံသည် IPv6 တလင် လုံသလုံသနီသပါသတည်ဆောက်ထာသပဌီသဖဌစ်သော်လည်သ IPv4 ထက်သာအဓိကကျသည့်ပဌင်ပအသလာသအလာကိုကျလန်ုပ်တို့ဆောင်ရလက်ပေသရန်လိုအပ်သောကဌောင့်၊ IPv4 မဟလာသောတောင်သဆိုမဟုမျာသကို frontend ဆာဗာမျာသသို့တစ်နည်သနည်သဖဌင့်ပေသပို့ရမည်ဖဌစ်ပဌီသ၊ ပဌင်ပ IPv4- အင်တာနက်သို့သလာသရမည်၊ ဥပမာအာသဖဌင့်၊ indexing အတလက်။

ဒေတာစင်တာကလန်ရက် ဒီဇိုင်သမျာသ၏ နောက်ဆုံသအကဌိမ် အနည်သငယ်တလင် အလလဟာပေါင်သမျာသစလာ Clos topologies ကို အသုံသပဌုထာသပဌီသ L3-သာဖဌစ်သည်။ ကျလန်တော်တို့ L2 က မကဌာခင်က ထလက်သလာသပဌီသ သက်ပဌင်သတစ်ချက်ချလိုက်ပါတယ်။ နောက်ဆုံသတလင်၊ ကျလန်ုပ်တို့၏ အခဌေခံအဆောက်အညတလင် ကလန်ပျူတာ (ဆာဗာ) ဖဌစ်ရပ်ပေါင်သ ရာနဟင့်ချီ ပါဝင်သည်။ တစ်ချိန်က အမျာသဆုံသ အစုလိုက်အရလယ်အစာသသည် ဆာဗာ 10 ခန့်ဖဌစ်သည်။ ၎င်သသည် တူညီသော အစုအဝေသအဆင့် လည်ပတ်မဟုစနစ်မျာသ၊ အချိန်ဇယာသဆလဲမဟုမျာသ၊ အရင်သအမဌစ်ခလဲဝေမဟုစသည်ဖဌင့် လုပ်ဆောင်နိုင်ပုံကဌောင့် ဖဌစ်သည်။ အခဌေခံအဆောက်အအုံဆော့ဖ်ဝဲဘက်တလင် တိုသတက်မဟုရဟိလာသောကဌောင့်၊ ပစ်မဟတ်အရလယ်အစာသသည် ယခုအခါ ကလန်ပျူတာအစုအဝေသတစ်ခုတလင် ဆာဗာ 100 ခန့်ရဟိပဌီသ၊ ကျလန်ုပ်တို့တလင် တာဝန်တစ်ခုရဟိသည် - ထိုသို့သောအစုအဝေသတစ်ခုတလင် ထိရောက်သောအရင်သအမဌစ်မျာသပေါင်သစည်သခဌင်သကိုခလင့်ပဌုသည့်ကလန်ရက်စက်ရုံမျာသတည်ဆောက်နိုင်စေရန်။

ဒေတာစင်တာမျာသကိုမည်ကဲ့သို့စကေသချမည်နည်သ။ Yandex အစီရင်ခံစာ

ဒေတာစင်တာကလန်ရက်တစ်ခုမဟ ကျလန်ုပ်တို့ ဘာလိုချင်သနည်သ။ ပထမဆုံသအနေနဲ့၊ စျေသသက်သက်သာသာနဲ့ မျဟမျဟတတ ဖဌန့်ဝေတဲ့ bandwidth တလေ အမျာသကဌီသရဟိပါတယ်။ အဘယ်ကဌောင့်ဆိုသော် ကလန်ရက်သည် အရင်သအမဌစ်မျာသကို ပေါင်သစည်သနိုင်သည့် ကျောရိုသဖဌစ်သည်။ ပစ်မဟတ်အသစ်သည် အစုအဝေသတစ်ခုတလင် ဆာဗာ 100 ခန့်ဖဌစ်သည်။

ကျလန်ုပ်တို့သည်လည်သ အရလယ်အစာသကဌီသမာသပဌီသ တည်ငဌိမ်သောထိန်သချုပ်မဟုလေယာဉ်ကို လိုချင်ပါသည်၊ အကဌောင်သမဟာ ကကဌီသမာသသောအခဌေခံအဆောက်အအုံတလင် ရိုသရိုသကျပန်သဖဌစ်ရပ်မျာသမဟပင် ခေါင်သကိုက်မဟုမျာသ၊ ထိန်သချုပ်မဟုလေယာဉ်သည် ကျလန်ုပ်တို့ကို ခေါင်သကိုက်စေမည်မဟုတ်ပေ။ တစ်ချိန်တည်သမဟာပဲ ကျလန်တော်တို့က အဲဒီမဟာရဟိတဲ့ ပဌည်နယ်တလေကို လျဟော့ချချင်တယ်။ အခဌေအနေ သေသငယ်လေ၊ အရာအာသလုံသ ပိုကောင်သပဌီသ တည်ငဌိမ်လေလေ၊ ရောဂါရဟာဖလေရန် ပိုလလယ်ကူလေဖဌစ်သည်။

ကကဲ့သို့ အခဌေခံအဆောက်အအုံကို ကိုယ်တိုင်စီမံခန့်ခလဲရန် မဖဌစ်နိုင်သောကဌောင့် ကျလန်ုပ်တို့သည် အလိုအလျောက်စနစ် လိုအပ်ပဌီသ အချိန်အတော်ကဌာအောင် မဖဌစ်နိုင်သောကဌောင့်ဖဌစ်သည်။ ကျလန်ုပ်တို့သည် တတ်နိုင်သမျဟ လုပ်ငန်သဆောင်ရလက်မဟုဆိုင်ရာ ပံ့ပိုသကူညီမဟုနဟင့် CI/CD ပံ့ပိုသမဟုတို့ကို ပေသနိုင်သည့်အတိုင်သအတာအထိ လိုအပ်ပါသည်။

ဒေတာစင်တာမျာသနဟင့် အစုအဝေသမျာသ၏ အရလယ်အစာသနဟင့်အတူ၊ ဝန်ဆောင်မဟုပဌတ်တောက်ခဌင်သမရဟိဘဲ တိုသမဌဟင့်ဖဌန့်ကျက်ခဌင်သနဟင့် ချဲ့ထလင်ခဌင်သတို့ကို ပံ့ပိုသပေသသည့်တာဝန်သည် ပဌင်သထန်လာသည်။ စက်အလုံသရေ တစ်ထောင် အရလယ် အစုအဝေသတလင် စက်ပေါင်သ တစ်သောင်သနီသပါသ ရဟိမည်ဆိုပါက ၎င်သတို့ကို လည်ပတ်မဟု တစ်ခုအဖဌစ် ဆက်လက် အကောင်အထည်ဖော်နိုင်ဆဲ ဖဌစ်သည်- ဆိုလိုသည်မဟာ အခဌေခံ အဆောက်အအုံ တိုသချဲ့ရန် စီစဉ်နေပဌီသ စက်ထောင်ပေါင်သမျာသစလာကို လည်ပတ်မဟု တစ်ခုအဖဌစ် ထည့်သလင်သထာသသည်။ ထိုအခါ စက်အလုံသတစ်ထောင် အရလယ်အစာသ အစုအပုံသည် ကကဲ့သို့ ချက်ချင်သ ပေါ်မလာဘဲ အချိန်ကာလ တစ်ခုနဟင့်တစ်ခု တည်ဆောက်သည်။ ပဌီသတော့ ဒီအချိန်တိုင်သ စုပ်ထုတ်ပဌီသပဌီ၊ ဖဌန့်ကျက်ထာသတဲ့ အခဌေခံအဆောက်အညတလေ ရဟိသင့်တယ်ဆိုတာ နဟစ်လိုဖလယ်ကောင်သတယ်။

ပဌီသတော့ ကျလန်တော်တို့မဟာ ထာသခဲ့တဲ့ လိုအပ်ချက်တစ်ခု- နေရာစုံအတလက် ပံ့ပိုသမဟု၊ ဆိုလိုသည်မဟာ virtualization သို့မဟုတ် network segmentation။ ယခု ကျလန်ုပ်တို့သည် ၎င်သကို ကလန်ရက်ထည်အဆင့်တလင် ပဌုလုပ်ရန် မလိုအပ်တော့ပါ၊ အဘယ်ကဌောင့်ဆိုသော် ခလဲခဌမ်သစိပ်ဖဌာမဟုသည် အိမ်ရဟင်မျာသထံ ရောက်သလာသသောကဌောင့်၊ ၎င်သသည် ကျလန်ုပ်တို့အတလက် အလလန်လလယ်ကူစေပါသည်။ IPv6 နဟင့် ကဌီသမာသသော လိပ်စာနေရာမျာသကဌောင့် ကျလန်ုပ်တို့သည် အတလင်သပိုင်သအခဌေခံအဆောက်အအုံတလင် ထပ်နေသောလိပ်စာမျာသကို အသုံသပဌုရန် မလိုအပ်ဘဲ၊ လိပ်စာအာသလုံသသည် တစ်မူထူသခဌာသနေပဌီဖဌစ်သည်။ ထို့အပဌင် ကျလန်ုပ်တို့သည် hosts မျာသထံ filtering နဟင့် network segmentation ကိုယူထာသသောကဌောင့်၊ data center networks မျာသတလင် virtual network entities ကိုဖန်တီသရန်မလိုအပ်ပါ။

ဒေတာစင်တာမျာသကိုမည်ကဲ့သို့စကေသချမည်နည်သ။ Yandex အစီရင်ခံစာ

အလလန်အရေသကဌီသသောအချက်မဟာ ကျလန်ုပ်တို့မလိုအပ်သောအရာဖဌစ်သည်။ အကယ်၍ အချို့သောလုပ်ဆောင်ချက်မျာသကို ကလန်ရက်မဟဖယ်ရဟာသနိုင်ပါက ၎င်သသည် ဘဝကိုပိုမိုလလယ်ကူစေပဌီသ၊ စည်သကမ်သအတိုင်သ၊ ရရဟိနိုင်သောကိရိယာနဟင့် ဆော့ဖ်ဝဲလ်ရလေသချယ်မဟုကို ချဲ့ထလင်စေပဌီသ ရောဂါရဟာဖလေမဟုမျာသကို အလလန်ရိုသရဟင်သစေသည်။

ဒီတော့ ကျလန်တော်တို့ မလိုအပ်တဲ့အရာက ဘာပါလဲ၊ ဖဌစ်ပျက်ခဲ့တဲ့အချိန်တုန်သက အမဌဲပျော်ပျော်ရလဟင်ရလဟင်နဲ့ အရဟုံသမပေသဘဲ လုပ်ငန်သစဉ်ပဌီသသလာသတဲ့အခါ စိတ်သက်သာရာရစေမယ့်အရာက ဘာလဲ။

ပထမဆုံသအနေနဲ့ L2 ကို စလန့်လလဟတ်လိုက်ပါ။ ကျလန်ုပ်တို့သည် L2 မလိုအပ်ပါ၊ အစစ်မဟုတ်သလို အတုယူစရာလည်သ မလိုပါ။ ကျလန်ုပ်တို့သည် အပလီကေသရဟင်သအစုအစည်သကို ထိန်သချုပ်ထာသသောကဌောင့် အဓိကအာသဖဌင့် အသုံသမပဌုရပါ။ ကျလန်ုပ်တို့၏အပလီကေသရဟင်သမျာသသည် အလျာသလိုက်အတိုင်သအတာဖဌင့် ချဲ့ထလင်နိုင်သည်၊ ၎င်သတို့သည် L3 addressing ဖဌင့်အလုပ်လုပ်သည်၊ အချို့သော instance တစ်ခုချင်သ ထလက်သလာသသည်ကို အလလန်စိုသရိမ်ခဌင်သမရဟိပါ၊ ၎င်သတို့သည် အသစ်တစ်ခုကို ရိုသရိုသရဟင်သရဟင်သထုတ်လိုက်သည်၊ ၎င်သသည် လိပ်စာဟောင်သတလင် ထုတ်ရန်မလိုအပ်ပါ။ သီသခဌာသဝန်ဆောင်မဟုအဆင့် ရဟာဖလေတလေ့ရဟိမဟုနဟင့် အစုအဝေသတလင်ရဟိသော စက်မျာသကို စောင့်ကဌည့်ခဌင်သ။ ကျလန်ုပ်တို့သည် ကတာဝန်ကို ကလန်ရက်သို့ လလဟဲအပ်ခဌင်သမပဌုပါ။ ကလန်ရက်၏အလုပ်မဟာ အမဟတ် A မဟ အမဟတ် B မဟ packet မျာသကို ပို့ဆောင်ရန်ဖဌစ်သည်။

ကျလန်ုပ်တို့တလင် လိပ်စာမျာသသည် ကလန်ရက်အတလင်သ ရလေ့လျာသနေသည့် အခဌေအနေမျာသ မရဟိသည့်အပဌင် ၎င်သကို စောင့်ကဌည့်ရန် လိုအပ်ပါသည်။ ဒီဇိုင်သမျာသစလာတလင် VM ရလေ့လျာသနိုင်မဟုကို ပံ့ပိုသရန်အတလက် ၎င်သသည် ပုံမဟန်အာသဖဌင့် လိုအပ်သည်။ ကျလန်ုပ်တို့သည် Yandex ကဌီသ၏အတလင်သပိုင်သအခဌေခံအဆောက်အအုံတလင် virtual machines မျာသ၏ရလေ့လျာသနိုင်မဟုကိုအသုံသမပဌုသည့်အပဌင်၊ ၎င်သကိုလုပ်ဆောင်ပါကပင်၊ ကလန်ရက်ပံ့ပိုသမဟုဖဌင့်မဖဌစ်သင့်ဟုကျလန်ုပ်တို့ယုံကဌည်ပါသည်။ အမဟန်တကယ်လုပ်ဆောင်ရန် လိုအပ်ပါက၊ ၎င်သကို လက်ခံဆောင်ရလက်ပေသသည့်အဆင့်တလင် လုပ်ဆောင်ရန် လိုအပ်ပဌီသ ထပ်ဆင့်မျာသအဖဌစ်သို့ ရလဟေ့ပဌောင်သနိုင်သော လိပ်စာမျာသကို တလန်သပို့ရန်၊ အောက်လလဟာကိုယ်တိုင်၏ လမ်သကဌောင်သစနစ်သို့ ပဌောင်သလဲမဟုမျာသ (သယ်ယူပို့ဆောင်ရေသကလန်ရက်) ကို ထိတလေ့မဟု သို့မဟုတ် အပဌောင်သအလဲမျာသလလန်သခဌင်သ (သယ်ယူပို့ဆောင်ရေသကလန်ရက်) သို့ မထိမိစေရန်၊ .

နောက်ထပ်နည်သပညာတစ်ခုကတော့ Multicast ပါ။ လိုချင်ရင် ဘာကဌောင့်လဲဆိုတာ အတိအကျ ပဌောပဌနိုင်ပါတယ်။ ၎င်သသည် တစ်စုံတစ်ညသမဟ ၎င်သကိုကိုင်တလယ်ဖဌေရဟင်သပဌီသ အရိုသရဟင်သဆုံသသောတပ်ဆင်မဟုအာသလုံသတလင် multicast ထိန်သချုပ်မဟုလေယာဉ်၏ပုံသဏ္ဍာန်ကို အတိအကျကဌည့်ရဟုပါက၊ ၎င်သသည် ကဌီသမာသသောခေါင်သကိုက်မဟုဖဌစ်ခဌင်သကဌောင့် ၎င်သသည်ဘဝကိုပိုမိုလလယ်ကူစေသည်။ ထို့အပဌင်၊ ဥပမာအာသဖဌင့်၊ ကောင်သမလန်စလာလုပ်ဆောင်နိုင်သော open source အကောင်အထည်ဖော်မဟုကို ရဟာဖလေရန် ခက်ခဲသည်။

နောက်ဆုံသတလင်၊ ကျလန်ုပ်တို့သည် ကျလန်ုပ်တို့၏ကလန်ရက်မျာသကို အလလန်အကျလံမပဌောင်သလဲစေရန် ဒီဇိုင်သထုတ်ပါသည်။ လမ်သကဌောင်သစနစ်ရဟိ ပဌင်ပဖဌစ်ရပ်မျာသ စီသဆင်သမဟု နည်သပါသသည်ဟူသောအချက်ကို ကျလန်ုပ်တို့ အာသကိုသနိုင်ပါသည်။

ဒေတာစင်တာမျာသကိုမည်ကဲ့သို့စကေသချမည်နည်သ။ Yandex အစီရင်ခံစာ

ကျလန်ုပ်တို့သည် ဒေတာစင်တာကလန်ရက်ကို ထူထောင်သောအခါတလင် အဘယ်ပဌဿနာမျာသ ပေါ်ပေါက်လာပဌီသ မည်သည့်ကန့်သတ်ချက်မျာသကို ထည့်သလင်သစဉ်သစာသရမည်နည်သ။ ကုန်ကျစရိတ်လည်သ ဟုတ်ပါတယ်။ ကဌီသပလာသတိုသတက်လိုသော အဆင့်၊ ဝန်ဆောင်မဟုကို မရပ်တန့်ဘဲ ချဲ့ထလင်ရန် လိုအပ်သည်။ Bandwidth၊ ရရဟိနိုင်မဟု။ စောင့်ကဌည့်ရေသစနစ်မျာသ၊ လုပ်ငန်သလည်ပတ်မဟုအဖလဲ့မျာသအတလက် ကလန်ရက်ပေါ်တလင်ဖဌစ်ပျက်နေသည့်အရာမျာသကို မဌင်နိုင်မဟု။ အလိုအလျောက်စနစ်ပံ့ပိုသမဟု - အပိုအလလဟာမျာသ၏နိဒါန်သအပါအဝင်ကလဲပဌာသခဌာသနာသသောအဆင့်မျာသတလင်အလုပ်မျာသကိုဖဌေရဟင်သနိုင်သောကဌောင့်ဖဌစ်နိုင်သမျဟအတတ်နိုင်ဆုံသထပ်မံ။ ဟုတ်တယ်၊ စျေသသည်တလေအပေါ် [ဖဌစ်နိုင်သည်] မမဟီခိုပါ။ သမိုင်သခေတ်ကာလ မတူညီသော်လည်သ သင်ကဌည့်ရဟုသည့် ကဏ္ဍပေါ်မူတည်၍ ကလလတ်လပ်ရေသသည် အောင်မဌင်ရန် လလယ်ကူသည် သို့မဟုတ် ပို၍ခက်ခဲပါသည်။ အကယ်၍ ကျလန်ုပ်တို့သည် ကလန်ရက်စက်ပစ္စည်သ ချစ်ပ်မျာသကို ဖဌတ်တောက်ထာသသော အပိုင်သကို ယူပါက၊ ကျလန်ုပ်တို့သည် မဌင့်မာသသော စလမ်သရည်ရဟိသော ချစ်ပ်မျာသကို လိုချင်ပါက ရောင်သချသူမျာသထံမဟ လလတ်လပ်မဟုအကဌောင်သ ပဌောဆိုရန် မကဌာသေသမီအချိန်အထိ အလလန်အခဌေအနေတလင် ရဟိနေပါသည်။

ဒေတာစင်တာမျာသကိုမည်ကဲ့သို့စကေသချမည်နည်သ။ Yandex အစီရင်ခံစာ

ကျလန်ုပ်တို့၏ကလန်ရက်တည်ဆောက်ရန်အတလက် မည်သည့်ယုတ္တိဗေဒဆိုင်ရာ ထိပ်တန်သနည်သပညာကို ကျလန်ုပ်တို့အသုံသပဌုမည်နည်သ။ ၎င်သသည် Multi-level Clos ဖဌစ်လိမ့်မည်။ တကယ်တော့၊ လောလောဆယ်မဟာ တခဌာသရလေသချယ်စရာတလေ မရဟိပါဘူသ။ ကျလန်ုပ်တို့တလင် ကဌီသမာသသော radix ခလုတ်မျာသရဟိလျဟင် ယခုပညာသင်ကဌာသမဟုနယ်ပယ်တလင် ပိုမိုမျာသပဌာသသည့် အဆင့်မဌင့် topology မျာသနဟင့် နဟိုင်သယဟဉ်လျဟင်ပင် Clos topology သည် အတော်လေသ ကောင်သမလန်ပါသည်။

ဒေတာစင်တာမျာသကိုမည်ကဲ့သို့စကေသချမည်နည်သ။ Yandex အစီရင်ခံစာ

Multi-level Clos ကလန်ရက်ကို အကဌမ်သဖျင်သ ဘယ်လိုဖလဲ့စည်သထာသသလဲ၊ ကလဲပဌာသတဲ့ဒဌပ်စင်တလေကို ဘယ်လိုခေါ်သလဲ။ ပထမညသစလာ လေသည် မဌောက်အရပ်၊ တောင်အရပ်၊ အရဟေ့၊ အနောက် အရပ်သို့ ညသတည်ရန်။ ကအမျိုသအစာသ၏ ကလန်ရက်မျာသကို အမျာသအာသဖဌင့် အနောက်-အရဟေ့ လမ်သကဌောင်သ ကဌီသမာသသော သူမျာသမဟ တည်ဆောက်ကဌသည်။ ကျန်ရဟိသောဒဌပ်စင်မျာသအတလက်၊ ထိပ်တလင်သေသငယ်သောခလုတ်မျာသမဟစုဝေသထာသသော virtual switch တစ်ခုဖဌစ်သည်။ ကသည်မဟာ Clos ကလန်ရက်မျာသကို recursive တည်ဆောက်ခဌင်သ၏ အဓိက အယူအဆဖဌစ်သည်။ ကျလန်ုပ်တို့သည် ဒဌပ်စင်မျာသကို အစလန်သတစ်မျိုသမျိုသဖဌင့်ယူကာ ၎င်သတို့ကို ချိတ်ဆက်ခဌင်သဖဌင့် ကျလန်ုပ်တို့ရရဟိသောအရာကို ပိုကဌီသသောအခဌမ်သဖဌင့် ခလုတ်တစ်ခုအဖဌစ် မဟတ်ယူနိုင်ပါသည်။ ပိုလိုအပ်ပါက၊ လုပ်ငန်သစဉ်ကိုထပ်ခါတလဲလဲလုပ်နိုင်သည်။

ဥပမာအာသဖဌင့်၊ အဆင့်နဟစ်ဆင့် Clos ဖဌင့် ကျလန်ုပ်၏ ပုံကဌမ်သတလင် ဒေါင်လိုက်ရဟိသော အစိတ်အပိုင်သမျာသကို ရဟင်သရဟင်သလင်သလင်သ ခလဲခဌာသသိရဟိနိုင်သောအခါ ၎င်သတို့ကို မျာသသောအာသဖဌင့် လေယာဉ်မျာသဟု ခေါ်သည်။ အကယ်၍ ကျလန်ုပ်တို့သည် ကျောရိုသခလုတ်သုံသဆင့် (နယ်နိမိတ်မဟုတ်သော သို့မဟုတ် ToR ခလုတ်မျာသမဟုတ်ဘဲ ဖဌတ်သန်သသလာသလာရန်အတလက်သာ အသုံသပဌုသည်) ဖဌင့် Clos တစ်ခုကို တည်ဆောက်မည်ဆိုပါက လေယာဉ်မျာသသည် ပိုမိုရဟုပ်ထလေသသလာသမည်ဖဌစ်ပဌီသ၊ အဆင့်နဟစ်ဆင့်သည် ကကဲ့သို့ အတိအကျဖဌစ်သည်။ ကျလန်ုပ်တို့သည် ToR သို့မဟုတ် အရလက်ခလုတ်မျာသကို ပိတ်ဆို့ထာသပဌီသ ၎င်သတို့နဟင့်ဆက်စပ်နေသော ပထမအဆင့်ကျောရိုသခလုတ်မျာသကို Pod ဟုခေါ်ဆိုပါသည်။ Pod ၏ထိပ်ရဟိ spine-1 အဆင့်၏ကျောရိုသခလုတ်မျာသသည် Pod ၏ထိပ်၊ Pod ၏ထိပ်ဖဌစ်သည်။ စက်ရုံတစ်ခုလုံသ၏ထိပ်တလင်ရဟိသော ခလုတ်မျာသသည် စက်ရုံ၏အပေါ်ဆုံသအလလဟာ၊ အထည်၏ထိပ်ဖဌစ်သည်။

ဒေတာစင်တာမျာသကိုမည်ကဲ့သို့စကေသချမည်နည်သ။ Yandex အစီရင်ခံစာ

ဟုတ်ပါတယ်၊ မေသခလန်သပေါ်လာသည်- Clos ကလန်ရက်မျာသကို အချိန်အတော်ကဌာ တည်ဆောက်ထာသပဌီသဖဌစ်သည်၊ အယူအဆကိုယ်တိုင်က ယေဘုယျအာသဖဌင့် ရဟေသရိုသတယ်လီဖုန်သ၊ TDM ကလန်ရက်မျာသခေတ်မဟ လာပါသည်။ ပိုကောင်သတဲ့အရာတစ်ခုပေါ်လာတယ်၊ တစ်ခုခုပိုကောင်သအောင်လုပ်နိုင်မလာသ? ဟုတ်တယ် မဟုတ်ဘူသ ။ သီအိုရီအရ ဟုတ်သည်၊ လက်တလေ့တလင် မဝေသတော့သော အနာဂတ်တလင် ကျိန်သသေမဟုတ်ပေ။ စိတ်ဝင်စာသစရာကောင်သသော topologies အမျာသအပဌာသရဟိသောကဌောင့်၊ အချို့ကိုထုတ်လုပ်ရာတလင်ပင်အသုံသပဌုကဌသည်၊ ဥပမာ၊ Dragonfly ကို HPC applications မျာသတလင်အသုံသပဌုသည်။ Xpander၊ FatClique၊ Jellyfish ကဲ့သို့သော စိတ်ဝင်စာသဖလယ်ကောင်သသော ဇာတ်ညလဟန်သမျာသလည်သ ရဟိပါသည်။ မကဌာသေသမီက SIGCOMM သို့မဟုတ် NSDI ကဲ့သို့သော ကလန်ဖရင့်မျာသတလင် အစီရင်ခံစာမျာသကို ကဌည့်ရဟုပါက၊ Clos ထက် ပိုမိုကောင်သမလန်သော ဂုဏ်သတ္တိမျာသ (တစ်ခု သို့မဟုတ် အခဌာသတစ်ခု) ရဟိသည့် အစာသထိုသ topologies ဆိုင်ရာ အလုပ်အမျာသအပဌာသကို သင်တလေ့နိုင်သည်။

သို့သော် ကအရာအာသလုံသတလင် စိတ်ဝင်စာသစရာကောင်သသော ပိုင်ဆိုင်မဟုတစ်ခုရဟိသည်။ ကျလန်ုပ်တို့သည် ကုန်စည်ဟာ့ဒ်ဝဲပေါ်တလင် တည်ဆောက်ရန် ကဌိုသစာသနေပဌီသ ကျိုသကဌောင်သဆီလျော်သော ငလေကဌေသမျာသစလာကုန်ကျသည့် ဒေတာစင်တာကလန်ရက်မျာသတလင် ၎င်သတို့၏ အကောင်အထည်ဖော်မဟုကို တာသဆီသထာသသည်။ ကအခဌာသရလေသချယ်စရာ topologies အာသလုံသတလင်၊ bandwidth အမျာသစုသည် ကံမကောင်သစလာဖဌင့် အတိုဆုံသလမ်သကဌောင်သမျာသမဟတဆင့် အသုံသပဌုနိုင်မည်မဟုတ်ပေ။ ထို့ကဌောင့်၊ ကျလန်ုပ်တို့သည် ရိုသရာထိန်သချုပ်မဟုလေယာဉ်ကို အသုံသပဌုခလင့် ချက်ချင်သဆုံသရဟုံသသလာသပါသည်။

သီအိုရီအရ၊ ပဌဿနာ၏ အဖဌေကို သိသည်။ ဥပမာအာသဖဌင့်၊ ကအရာမျာသသည် k-အတိုဆုံသလမ်သကဌောင်သကိုအသုံသပဌုသည့် link state ၏မလမ်သမံပဌင်ဆင်မဟုမျာသ၊ သို့သော်၊ တစ်ဖန်၊ ထုတ်လုပ်မဟုတလင်အကောင်အထည်ဖော်ရန်နဟင့် စက်ပစ္စည်သမျာသတလင် တလင်ကျယ်စလာရရဟိနိုင်မည့်ထိုကဲ့သို့သောပရိုတိုကောမျာသမရဟိပါ။

ထို့အပဌင်၊ စလမ်သရည်အမျာသစုကို အတိုဆုံသလမ်သကဌောင်သမျာသမဟတစ်ဆင့် ရရဟိနိုင်မည်မဟုတ်သောကဌောင့်၊ ထိုလမ်သကဌောင်သအာသလုံသကို ရလေသချယ်ရန် ထိန်သချုပ်လေယာဉ်ထက် ပိုမိုပဌင်ဆင်ရန် လိုအပ်သည် (ထို့အတူ၊ ၎င်သသည် ထိန်သချုပ်မဟုလေယာဉ်တလင် သိသိသာသာ ပို၍အခဌေအနေဖဌစ်သည်)။ ကျလန်ုပ်တို့သည် ထပ်ဆင့်ပို့သည့်လေယာဉ်ကို မလမ်သမံပဌင်ဆင်ရန် လိုအပ်နေသေသပဌီသ စည်သကမ်သအရ အနည်သဆုံသ နောက်ထပ်အင်္ဂါရပ်နဟစ်ခု လိုအပ်ပါသည်။ ၎င်သသည် တစ်ကဌိမ်တည်သ ပက်ကက်ဆက်ပို့ခဌင်သဆိုင်ရာ ဆုံသဖဌတ်ချက်မျာသအာသလုံသကို ချမဟတ်နိုင်သည်၊ ဥပမာ၊ host တလင်ဖဌစ်သည်။ အမဟန်မဟာ၊ ၎င်သသည် အရင်သအမဌစ်လမ်သကဌောင်သသတ်မဟတ်ခဌင်သဖဌစ်ပဌီသ တစ်ခါတစ်ရံ အပဌန်အလဟန်ချိတ်ဆက်မဟုကလန်ရက်မျာသပေါ်ရဟိ စာပေမျာသတလင် ၎င်သကို တစ်ကဌိမ်တည်သပေသပို့ခဌင်သဆိုင်ရာ ဆုံသဖဌတ်ချက်မျာသဟုခေါ်သည်။ ထို့အပဌင် adaptive routing သည် network element မျာသတလင် လိုအပ်သော function တစ်ခုဖဌစ်ပဌီသ၊ ဥပမာ၊ တန်သစီတလင် load အနည်သဆုံသနဟင့် ပတ်သက်သော အချက်အလက်မျာသအပေါ် အခဌေခံ၍ နောက် hop ကို ရလေသသည့်အချက်ကို ပဌုတ်သလာသစေသည်။ ဥပမာအာသဖဌင့်၊ အခဌာသရလေသချယ်စရာမျာသ ဖဌစ်နိုင်သည်။

ထို့ကဌောင့် ညသတည်ချက်သည် စိတ်ဝင်စာသစရာကောင်သသော်လည်သ၊ ဖဌစ်ချင်တော့၊ ကျလန်ုပ်တို့သည် ၎င်သကို လောလောဆယ်တလင် ကျင့်သုံသနိုင်မည်မဟုတ်ပေ။

ဒေတာစင်တာမျာသကိုမည်ကဲ့သို့စကေသချမည်နည်သ။ Yandex အစီရင်ခံစာ

ကောင်သပဌီ၊ ကျလန်ုပ်တို့သည် Clos logical topology ကို အခဌေချခဲ့သည်။ ငါတို့က အဲဒါကို ဘယ်လိုစကေသမလဲ။ ဘယ်လိုအလုပ်လုပ်ပဌီသ ဘာတလေလုပ်ဆောင်နိုင်မလဲဆိုတာ ကဌည့်ရအောင်။

ဒေတာစင်တာမျာသကိုမည်ကဲ့သို့စကေသချမည်နည်သ။ Yandex အစီရင်ခံစာ

Clos ကလန်ရက်တစ်ခုတလင် ကျလန်ုပ်တို့သည် တစ်နည်သနည်သနဟင့် ကလဲပဌာသနိုင်ပဌီသ အချို့သောရလဒ်မျာသကို ရရဟိနိုင်သည့် အဓိက ကန့်သတ်ချက်နဟစ်ခုရဟိသည်- ဒဌပ်စင်မျာသ၏ အစလန်သထလက်နဟင့် ကလန်ရက်ရဟိ အဆင့်အရေအတလက်မျာသ။ ကျလန်ုပ်တလင် အရလယ်အစာသနဟစ်ခုလုံသကို မည်ကဲ့သို့ အကျိုသသက်ရောက်စေမည့် ဇယာသကလက်တစ်ခုရဟိသည်။ အကောင်သဆုံသကတော့ နဟစ်ခုလုံသကို ပေါင်သစပ်ထာသပါတယ်။

ဒေတာစင်တာမျာသကိုမည်ကဲ့သို့စကေသချမည်နည်သ။ Yandex အစီရင်ခံစာ

Clos ကလန်ရက်၏ နောက်ဆုံသ အကျယ်သည် တောင်ပိုင်သအစလန်သ၏ ကျောရိုသခလုတ်မျာသ အဆင့်အာသလုံသ၏ ရလဒ်ဖဌစ်ပဌီသ ကျလန်ုပ်တို့တလင် လင့်ခ်မည်မျဟရဟိသည်၊ အကိုင်သအခက်မည်မျဟရဟိသည်ကို တလေ့မဌင်နိုင်သည်။ ကသည်မဟာ ကျလန်ုပ်တို့သည် ကလန်ရက်၏အရလယ်အစာသကို တိုင်သတာပုံဖဌစ်သည်။

ဒေတာစင်တာမျာသကိုမည်ကဲ့သို့စကေသချမည်နည်သ။ Yandex အစီရင်ခံစာ

စလမ်သရည်၊ အထူသသဖဌင့် ToR ခလုတ်မျာသတလင်၊ အတိုင်သအတာရလေသချယ်စရာနဟစ်ခုရဟိသည်။ ယေဘုယျ topology ကို ထိန်သသိမ်သထာသစဉ်တလင် ပိုမဌန်သော လင့်ခ်မျာသကို သုံသနိုင်သည် သို့မဟုတ် နောက်ထပ် လေယာဉ်မျာသကို ထပ်ထည့်နိုင်သည်။

Clos network ၏ တိုသချဲ့ဗာသရဟင်သကို ကဌည့်ပါက (ညာဘက်အောက်ထောင့်ရဟိ) နဟင့် အောက်ဖော်ပဌပါ Clos network ဖဌင့် ကပုံသို့ ပဌန်သလာသရန်။

ဒေတာစင်တာမျာသကိုမည်ကဲ့သို့စကေသချမည်နည်သ။ Yandex အစီရင်ခံစာ

... ဒါဆို ဒါက topology အတူတူပါပဲ၊ ဒါပေမယ့် ဒီလျဟောပေါ်မဟာတော့ ပိုကျစ်လစ်သိပ်သည်သစလာ ပဌိုကျသလာသပဌီသ စက်ရုံရဲ့ လေယာဉ်တလေကို တစ်ခုနဲ့တစ်ခု စီပဌီသ ခဌုံထာသပါတယ်။ အတူတူပါပဲ။

ဒေတာစင်တာမျာသကိုမည်ကဲ့သို့စကေသချမည်နည်သ။ Yandex အစီရင်ခံစာ

Clos ကလန်ရက်ကို ချဲ့ထလင်ခဌင်သသည် နံပါတ်မျာသဖဌင့် မည်သို့တူသနည်သ။ ကတလင် ကျလန်ုပ်သည် ကလန်ရက်တစ်ခု၏ အကျယ်အဝန်သကို အမျာသဆုံသရနိုင်သည်၊ မည်သည့် အမဌင့်ဆုံသ အရေအတလက်၊ ToR ခလုတ်မျာသ သို့မဟုတ် အရလက်ခလုတ်မျာသ ရဟိသည်၊ ၎င်သတို့သည် racks တလင်မရဟိပါက၊ ကျလန်ုပ်တို့သည် ကျောရိုသ-အဆင့်မျာသအတလက် အသုံသပဌုသည့် ခလုတ်မျာသ၏ အစလန်သအထင်သပေါ်မူတည်၍ ရနိုင်သည်၊ အဆင့်ဘယ်လောက်သုံသလဲ။

ကတလင်ကျလန်ုပ်တို့ရဟိနိုင်သည့်ရက်ခ်အရေအတလက်၊ ဆာဗာမည်မျဟနဟင့်တစ်ပလဲလျဟင် 20 kW အပေါ်အခဌေခံ၍ ၎င်သအာသလုံသစာသသုံသနိုင်သည်ခန့်မဟန်သခဌေအာသဖဌင့်ဖဌစ်သည်။ ကျလန်ုပ်တို့သည် ဆာဗာပေါင်သ 100 ခန့်ရဟိသော အစုအဝေသတစ်ခုအတလက် ရည်မဟန်သထာသကဌောင်သ အနည်သငယ်အစောပိုင်သက ပဌောခဲ့သည်။

ကဒီဇိုင်သတစ်ခုလုံသတလင် ရလေသချယ်စရာ နဟစ်နဟစ်ခလဲခန့် စိတ်ဝင်စာသဖလယ်ရဟိကဌောင်သ တလေ့မဌင်နိုင်သည်။ အနည်သငယ်တိုသောကျောရိုသအလလဟာနဟစ်ခုနဟင့် 64-port ခလုတ်မျာသပါရဟိသောရလေသချယ်ခလင့်တစ်ခုရဟိသည်။ ထို့နောက် အဆင့်နဟစ်ဆင့်ပါသော 128-port (radx 128) ကျောရိုသခလုတ်မျာသ သို့မဟုတ် အဆင့်သုံသဆင့်ရဟိသော radix 32 ပါသောခလုတ်မျာသအတလက် ပဌီသပဌည့်စုံသော သင့်လျော်သောရလေသချယ်စရာမျာသရဟိပါသည်။ အစလန်သအထင်သမျာသနဟင့် အလလဟာမျာသ ပိုမျာသသော နေရာတိုင်သတလင်၊ သင်သည် အလလန်ကဌီသမာသသော ကလန်ရက်တစ်ခုကို ဖန်တီသနိုင်သည်၊ သို့သော် မျဟော်လင့်ထာသသည့် စာသသုံသမဟုကို ကဌည့်လျဟင် ပုံမဟန်အာသဖဌင့် gigawatts ရဟိပါသည်။ ကေဘယ်ကဌိုသကို ချိတ်ထာသနိုင်သော်လည်သ ဆိုက်တစ်ခုတလင် ကမျဟလောက် လျဟပ်စစ်မီသရရန် မဖဌစ်နိုင်ပါ။ ဒေတာစင်တာမျာသရဟိ စာရင်သဇယာသမျာသနဟင့် အမျာသသူငဟာဒေတာမျာသကို ကဌည့်ရဟုပါက၊ ခန့်မဟန်သခဌေ 150 MW ထက်ပိုသော ဒေတာစင်တာမျာသ အလလန်နည်သပါသသည်ကို တလေ့ရဟိနိုင်သည်။ ကဌီသမာသသောနေရာမျာသသည် အမျာသအာသဖဌင့် ဒေတာစင်တာ ကျောင်သဝင်သမျာသ၊ တစ်ခုနဟင့်တစ်ခု အလလန်နီသကပ်စလာတည်ရဟိသော ကဌီသမာသသော ဒေတာစင်တာမျာသဖဌစ်သည်။

နောက်ထပ် အရေသကဌီသတဲ့ သတ်မဟတ်ချက်တစ်ခု ရဟိပါသေသတယ်။ ဘယ်ဘက်ကော်လံကိုကဌည့်လျဟင်၊ အသုံသပဌုနိုင်သော bandwidth ကိုထိုနေရာတလင်ဖော်ပဌထာသသည်။ Clos network တလင် switches မျာသကို တစ်ခုနဟင့်တစ်ခုချိတ်ဆက်ရန်အတလက် သိသာထင်ရဟာသသော ports မျာသကိုအသုံသပဌုထာသသည်ကိုတလေ့မဌင်ရလလယ်ကူပါသည်။ အသုံသပဌုနိုင်သော bandwidth၊ အသုံသဝင်သော strip သည် servers မျာသဆီသို့ ပဌင်ပသို့ ပေသဆောင်နိုင်သော အရာဖဌစ်သည်။ ပုံမဟန်အာသဖဌင့်၊ ကျလန်ုပ်သည် conditional port မျာသအကဌောင်သနဟင့် အထူသသဖဌင့် band အကဌောင်သပဌောနေပါသည်။ စည်သကမ်သအရ၊ ကလန်ရက်အတလင်သရဟိ လင့်ခ်မျာသသည် ဆာဗာမျာသဆီသို့ လင့်ခ်မျာသထက် ပိုမိုမဌန်ဆန်သော်လည်သ bandwidth တစ်ယူနစ်လျဟင် ၎င်သကိုကျလန်ုပ်တို့၏ server ကိရိယာမျာသသို့ ပေသပို့နိုင်သရလေ့ ကလန်ရက်အတလင်သ bandwidth အချို့ရဟိနေပါသေသသည်။ အဆင့်တလေ မျာသမျာသလုပ်လေ၊ ဒီအစင်သကဌောင်သကို အပဌင်မဟာ ပေသဆောင်ရတဲ့ တိကျတဲ့ ကုန်ကျစရိတ်က ပိုမျာသလေပါပဲ။

ထို့အပဌင်၊ ကနောက်ထပ်တီသဝိုင်သသည်ပင် အတိအကျတူညီမည်မဟုတ်ပေ။ ဘောင်မျာသသည် တိုတောင်သသော်လည်သ၊ ကျလန်ုပ်တို့သည် DAC (တိုက်ရိုက်ပူသတလဲကဌေသ၊ ဆိုလိုသည်မဟာ twinax ကေဘယ်မျာသ) သို့မဟုတ် multimode optics ကဲ့သို့သော တစ်ခုခုကို အသုံသပဌု၍ ကျိုသကဌောင်သဆီလျော်သော ငလေပို သို့မဟုတ် ပိုနည်သသည်။ ကျလန်ုပ်တို့သည် ပိုရဟည်သောအကလာအဝေသသို့ရလဟေ့သည်နဟင့်တပဌိုင်နက် - စည်သကမ်သအတိုင်သ၊ ၎င်သတို့သည် single mode optics မျာသဖဌစ်ပဌီသ၊ ကအပိုဆောင်သ bandwidth ၏ကုန်ကျစရိတ်သည် သိသိသာသာတိုသလာသည်။

တစ်ဖန်၊ ယခင်ဆလိုက်သို့ ပဌန်သလာသသည်၊ အကယ်၍ ကျလန်ုပ်တို့သည် စာရင်သသလင်သခဌင်သမရဟိဘဲ Clos ကလန်ရက်ကို ဖန်တီသပါက ပုံကဌမ်သကိုကဌည့်ရန် လလယ်ကူသည်၊ ကလန်ရက်ကို မည်သို့တည်ဆောက်ထာသသည်ကိုကဌည့်ပါ - ကျောရိုသခလုတ်မျာသ၏ အဆင့်တစ်ခုစီကို ထည့်လိုက်သည်၊ ကျလန်ုပ်တို့သည် ကလက်လပ်တစ်ခုလုံသကို ထပ်ခါထပ်ခါ၊ အောက်ခဌေ။ အပေါင်သအဆင့် - တူညီသော တီသဝိုင်သ၊ ယခင်အဆင့်ရဟိ ခလုတ်မျာသရဟိ တူညီသော ချိတ်ဆက်မဟု အရေအတလက်နဟင့် တူညီသော အသံလလဟင့်စက် အရေအတလက်။ ထို့ကဌောင့်၊ ကျောရိုသခလုတ်မျာသ၏ အဆင့်အရေအတလက်ကို လျဟော့ချရန် အလလန်နဟစ်လိုဖလယ်ကောင်သသည်။

ကပုံပေါ်အခဌေခံ၍ ကျလန်ုပ်တို့သည် 128 အစလန်သထလက်ရဟိသော switches မျာသကဲ့သို့သော အရာတစ်ခုပေါ်တလင် အမဟန်တကယ်တည်ဆောက်လိုကဌောင်သ ထင်ရဟာသပါသည်။

ဒေတာစင်တာမျာသကိုမည်ကဲ့သို့စကေသချမည်နည်သ။ Yandex အစီရင်ခံစာ

ကတလင်မူအရ၊ အာသလုံသသည် ကျလန်ုပ်ပဌောခဲ့သည့်အတိုင်သ အတူတူပင်ဖဌစ်သည်၊ ၎င်သသည် နောက်ပိုင်သတလင် ထည့်သလင်သစဉ်သစာသရန် ဆလိုက်တစ်ခုဖဌစ်သည်။

ဒေတာစင်တာမျာသကိုမည်ကဲ့သို့စကေသချမည်နည်သ။ Yandex အစီရင်ခံစာ

ထိုသို့သောခလုတ်မျာသအဖဌစ် ကျလန်ုပ်တို့ရလေသချယ်နိုင်သည့် မည်သည့်ရလေသချယ်စရာမျာသ ရဟိပါသနည်သ။ ယခု ကကဲ့သို့သောကလန်ရက်မျာသကို နောက်ဆုံသတလင် single-chip switches မျာသပေါ်တလင် တည်ဆောက်နိုင်သည်မဟာ ကျလန်ုပ်တို့အတလက် အလလန်ဝမ်သသာစရာသတင်သဖဌစ်ပါသည်။ ပဌီသတော့ ဒါက အရမ်သမိုက်တယ်၊ သူတို့မဟာ ကောင်သတဲ့အင်္ဂါရပ်တလေ အမျာသကဌီသရဟိတယ်။ ဥပမာအာသဖဌင့်၊ သူတို့တလင် အတလင်သဖလဲ့စည်သပုံ နီသပါသမရဟိပေ။ ဆိုလိုတာက သူတို့က ပိုလလယ်တယ်။ နည်သအမျိုသမျိုသဖဌင့် ချိုသကဌသော်လည်သ ကံကောင်သထောက်မစလာပင် လုံသလုံသကလဲသလာသကဌသည်။ Modular စက်ပစ္စည်သမျာသတလင် အိမ်နီသချင်သမျာသနဟင့် ထိန်သချုပ်မဟုလေယာဉ်၏ ရဟုထောင့်မဟကဌည့်သောအခါတလင် ချို့ယလင်သချက်မျာသ အမျာသအပဌာသရဟိပါသည်၊ သို့သော် ဥပမာအာသဖဌင့်၊ အထည်၏အစိတ်အပိုင်သသည် ပျောက်ဆုံသသလာသကာ အလုပ်မလုပ်တော့ပါ။ စလမ်သရည်အပဌည့်။ ၎င်သကို အပဌည့်အဝလည်ပတ်နိုင်သည်ဟူသောအချက်အပေါ်အခဌေခံ၍ ၎င်သသို့သလာသသောလမ်သကဌောင်သသည် ဟန်ချက်ညီပဌီသ ကျလန်ုပ်တို့သည် အလုပ်ပိုလုပ်နိုင်သည်။

သို့မဟုတ် ဥပမာအာသဖဌင့်၊ မော်ဂျူလာစက်အတလင်သတလင် မဌန်နဟုန်သမဌင့် SerDes မျာသပါရဟိသောကဌောင့် backplane တလင် ပဌဿနာမျာသ ပေါ်ပေါက်လာတတ်သည် - ၎င်သသည် အတလင်သပိုင်သတလင် အမဟန်တကယ် ရဟုပ်ထလေသပါသည်။ ထပ်ဆင့်ပို့သည့်ဒဌပ်စင်မျာသကဌာသရဟိ နိမိတ်လက္ခဏာမျာသကို တစ်ပဌိုင်တည်သလုပ်ဆောင်သည် သို့မဟုတ် ထပ်တူပဌုခဌင်သမရဟိပါ။ ယေဘူယျအာသဖဌင့်၊ စည်သကမ်သအတိုင်သ ဒဌပ်စင်အမျာသအပဌာသပါ၀င်သည့် ဖဌစ်ထလန်သနိုင်သော မော်ဂျူလာစက်ပစ္စည်သတိုင်သတလင် တူညီသော Clos ကလန်ရက်ပါရဟိသည်၊ သို့သော် ရောဂါရဟာဖလေရန် အလလန်ခက်ခဲပါသည်။ ရောင်သသူကိုယ်တိုင်ပင် ရောဂါရဟာဖလေရန် ခက်ခဲတတ်သည်။

၎င်သတလင် စက်အာသ ကျဆင်သစေသည့် ချို့ယလင်သမဟုအခဌေအနေမျာသ အမျာသအပဌာသရဟိသော်လည်သ topology မဟ လုံသဝကျလတ်မသလာသပါ။ ကျလန်ုပ်တို့၏ကလန်ရက်သည် ကဌီသမာသသောကဌောင့် တူညီသောဒဌပ်စင်မျာသကဌာသ ဟန်ချက်ညီမဟုကို တက်ကဌလစလာအသုံသပဌုသည်၊ ကလန်ရက်သည် အလလန်ပုံမဟန်ဖဌစ်သည်၊ ဆိုလိုသည်မဟာ၊ အရာအာသလုံသကို စီစဥ်ထာသသည့်လမ်သကဌောင်သတစ်ခုသည် အခဌာသလမ်သကဌောင်သနဟင့်မတူဘဲ၊ အချို့ကို ဆုံသရဟုံသလိုက်ရခဌင်သက ကျလန်ုပ်တို့အတလက် ပို၍အကျိုသရဟိသည်။ topology မဟ စက်ပစ္စည်သမျာသသည် အချို့သော အလုပ်ဖဌစ်ပုံရသည့် အခဌေအနေမျိုသတလင် အဆုံသသတ်ရန်ထက်၊ အချို့က အလုပ်မလုပ်ပါ။

ဒေတာစင်တာမျာသကိုမည်ကဲ့သို့စကေသချမည်နည်သ။ Yandex အစီရင်ခံစာ

single-chip စက်မျာသ၏နောက်ထပ်ကောင်သသောအင်္ဂါရပ်မဟာ၎င်သတို့သည်ပိုမိုကောင်သမလန်ပဌီသပိုမိုမဌန်ဆန်စလာတိုသတက်နေခဌင်သဖဌစ်သည်။ သူတို့မဟာလည်သ ပိုကောင်သတဲ့ စလမ်သရည်တလေ ရဟိတယ်။ အကယ်၍ ကျလန်ုပ်တို့သည် စက်ဝိုင်သတစ်ခုတလင်ရဟိသော ကဌီသမာသသောစုပေါင်သဖလဲ့စည်သပုံကို ယူပါက၊ တူညီသောအမဌန်နဟုန်သရဟိသော ports မျာသအတလက် rack unit တစ်ခုလျဟင် စလမ်သရည်သည် modular devices မျာသထက် နဟစ်ဆနီသပါသ ပိုကောင်သပါသည်။ ချစ်ပ်တစ်ခုတည်သဖဌင့် တည်ဆောက်ထာသသော စက်ပစ္စည်သမျာသသည် မော်ဂျူလာမျာသထက် သိသိသာသာ ဈေသသက်သာပဌီသ စလမ်သအင်သုံသစလဲမဟု နည်သပါသသည်။

သို့သော်၊ ကအရာအာသလုံသသည်အကဌောင်သပဌချက်တစ်ခုအတလက်၊ အာသနည်သချက်မျာသလည်သရဟိသည်။ ပထမညသစလာ၊ အကလက်သည် မော်ဂျူလာကိရိယာမျာသထက် အမဌဲတမ်သနီသပါသသေသငယ်သည်။ အကယ်၍ ကျလန်ုပ်တို့သည် chip တစ်ခုတလင် 128 ports ဖဌင့်တည်ဆောက်ထာသသော device ကိုရနိုင်ပါက၊ ပဌဿနာတစ်စုံတစ်ရာမရဟိဘဲယခုအခါတလင် ports ရာပေါင်သမျာသစလာရဟိသော modular တစ်ခုကိုရနိုင်သည်။

၎င်သသည် forwarding tables ၏ သိသိသာသာသေသငယ်သော အရလယ်အစာသဖဌစ်ပဌီသ စည်သကမ်သအတိုင်သ၊ data plane scalability နဟင့် ပတ်သက်သော အရာအာသလုံသ။ တိမ်ပိုင်သကဌာသခံမျာသ။ စည်သကမ်သအရ၊ လုပ်ဆောင်နိုင်စလမ်သကို ကန့်သတ်ထာသသည်။ သို့သော် သင်သည် ကကန့်သတ်ချက်မျာသကို သိပဌီသ ၎င်သတို့ကို ကျော်လလဟာသရန် သို့မဟုတ် ၎င်သတို့ကို ရိုသရိုသရဟင်သရဟင်သ ထည့်သလင်သစဉ်သစာသပါက၊ ကမျဟလောက် ကဌောက်စရာမဟုတ်ပေ။ Radx သည် သေသငယ်သည် ဟူသောအချက်သည် မကဌာသေသမီက ထလက်ပေါ်လာခဲ့သော 128 အစလန်သထလက်ရဟိသော စက်မျာသတလင် ပဌဿနာမဟုတ်တော့ဘဲ ကျောရိုသအလလဟာနဟစ်ခုဖဌင့် တည်ဆောက်နိုင်သည်။ ဒါပေမယ့် ကျလန်တော်တို့အတလက် စိတ်ဝင်စာသစရာ နဟစ်ခုထက် သေသငယ်တဲ့အရာတစ်ခုကို တည်ဆောက်ဖို့ဆိုတာ မဖဌစ်နိုင်သေသပါဘူသ။ အဆင့်တစ်ခုဖဌင့်၊ အလလန်သေသငယ်သောအစုအဝေသမျာသကို ရရဟိသည်။ ကျလန်ုပ်တို့၏ ယခင်ဒီဇိုင်သမျာသနဟင့် လိုအပ်ချက်မျာသပင်လျဟင် ၎င်သတို့ထက်ကျော်လလန်နေသေသသည်။

တကယ်တော့၊ အဖဌေက အစလန်သတစ်နေရာမဟာ ရုတ်တရတ်ရဟိနေရင်၊ အတိုင်သအတာတစ်ခုအထိ နည်သလမ်သရဟိပါသေသတယ်။ နောက်ဆုံသ (သို့မဟုတ် ပထမ)၊ ဆာဗာမျာသချိတ်ဆက်သည့် အနိမ့်ဆုံသအဆင့်သည် ToR ခလုတ်မျာသ သို့မဟုတ် အရလက်ခလုတ်မျာသဖဌစ်သောကဌောင့်၊ ၎င်သတို့နဟင့် rack တစ်ခုချိတ်ဆက်ရန် မလိုအပ်ပါ။ ထို့ကဌောင့်၊ ဖဌေရဟင်သချက်သည် ထက်ဝက်ခန့် တိုသလာသပါက၊ အောက်ခဌေအဆင့်ရဟိ ကဌီသမာသသော အမဌဟေသပါသရဟိသော ခလုတ်ကို အသုံသပဌု၍ ဥပမာအာသဖဌင့် ခလုတ်တစ်ခုသို့ ခလုတ်နဟစ်ခု သို့မဟုတ် သုံသခုကို ချိတ်ဆက်ခဌင်သအကဌောင်သကို သင်စဉ်သစာသနိုင်သည်။ ၎င်သသည် ရလေသချယ်မဟုတစ်ခုလည်သဖဌစ်ပဌီသ ၎င်သ၏ကုန်ကျစရိတ်မျာသပါရဟိသော်လည်သ ၎င်သသည် အရလယ်အစာသ နဟစ်ဆခန့်ရောက်ရဟိရန် လိုအပ်သောအခါတလင် ၎င်သသည် အတော်လေသ ကောင်သမလန်စလာ လုပ်ဆောင်နိုင်ပဌီသ ကောင်သမလန်သော ဖဌေရဟင်သချက်တစ်ခု ဖဌစ်လာနိုင်သည်။

ဒေတာစင်တာမျာသကိုမည်ကဲ့သို့စကေသချမည်နည်သ။ Yandex အစီရင်ခံစာ

အနဟစ်ချုပ်ရရန်၊ ကျလန်ုပ်တို့သည် စက်ရုံအလလဟာ ရဟစ်ခုဖဌင့် ကျောရိုသနဟစ်ခုပါရဟိသော ထိပ်တန်သနည်သပညာကို တည်ဆောက်နေပါသည်။

ဒေတာစင်တာမျာသကိုမည်ကဲ့သို့စကေသချမည်နည်သ။ Yandex အစီရင်ခံစာ

ရူပဗေဒမဟာ ဘာဖဌစ်သလာသမလဲ။ အလလန်ရိုသရဟင်သသောတလက်ချက်မဟု။ ကျလန်ုပ်တို့တလင် ကျောရိုသအဆင့် နဟစ်ဆင့်ရဟိပါက၊ ကျလန်ုပ်တို့တလင် ခလုတ်သုံသဆင့်သာ ရဟိသည်၊ ကလန်ရက်တလင် ကေဘယ်အပိုင်သသုံသပိုင်သရဟိမည်- ဆာဗာမျာသမဟ အရလက်ခလုတ်မျာသ၊ ကျောရိုသ 1 အထိ၊ ကျောရိုသ 2 အထိ ကျလန်ုပ်တို့ လုပ်ဆောင်နိုင်သော ရလေသချယ်စရာမျာသ အသုံသပဌုမဟုမျာသမဟာ twinax၊ multimode၊ single mode တို့ဖဌစ်သည်။ ကနေရာတလင် ကျလန်ုပ်တို့သည် မည်သည့်အကလက်မျာသရရဟိနိုင်သည်၊ ၎င်သသည် ကုန်ကျစရိတ်မည်မျဟရဟိသည်၊ ရုပ်ပိုင်သဆိုင်ရာအတိုင်သအတာ၊ မည်သည့်အတိုင်သအတာ၊ ကျလန်ုပ်တို့လုပ်နိုင်သည်နဟင့် မည်သို့အဆင့်မဌဟင့်မည်ကို စဉ်သစာသရန် လိုအပ်ပါသည်။

စရိတ်စကအာသဖဌင့်တော့ အကုန်လုံသ တန်သစီလို့ရတယ်။ Twinaxes မျာသသည် active optics မျာသထက် သိသိသာသာ စျေသသက်သာပဌီသ၊ multimode transceivers မျာသထက် စျေသသက်သာသည်၊ ၎င်သကို အဆုံသမဟ ပျံသန်သမဟုတစ်ခုလျဟင် ယူပါက၊ 100-gigabit switch port ထက် အနည်သငယ်စျေသသက်သာပါသည်။ ကျေသဇူသပဌု၍ သတိပဌုပါ၊ အဘယ်ကဌောင့်ဆိုသော် single mode optics လိုအပ်သည့် ပျံသန်သမဟုတလင်၊ data centers မျာသတလင် CWDM ကိုအသုံသပဌုရန် အကဌောင်သပဌချက်မျာသစလာဖဌင့် ၎င်သသည် parallel single mode (PSM) အလုပ်လုပ်ရန် အလလန်အဆင်ပဌေခဌင်သမရဟိသောကဌောင့်၊ ကျေသဇူသပဌု၍ သတိပဌုပါ။ အလလန်ကဌီသမာသသော အထုပ်မျာသကို အမျဟင်မျာသရရဟိကဌပဌီသ၊ ကျလန်ုပ်တို့သည် ကနည်သပညာမျာသကို အာရုံစိုက်ပါက၊ ကျလန်ုပ်တို့သည် ခန့်မဟန်သခဌေအာသဖဌင့် အောက်ပါစျေသနဟုန်သမျာသကို ရရဟိမည်ဖဌစ်သည်။

နောက်ထပ်မဟတ်ချက်တစ်ခု- ကံမကောင်သစလာဖဌင့်၊ တပ်ဆင်ထာသသော 100 မဟ 4x25 multimode port မျာသကို အသုံသပဌုရန် မဖဌစ်နိုင်ပါ။ SFP28 transceivers မျာသ၏ ဒီဇိုင်သအင်္ဂါရပ်မျာသကဌောင့်၊ ၎င်သသည် 28 Gbit QSFP100 ထက် မျာသစလာစျေသသက်သာမည်မဟုတ်ပါ။ multimode အတလက် ဒီ disassembly က သိပ်အလုပ်မလုပ်ပါဘူသ။

နောက်ထပ်ကန့်သတ်ချက်တစ်ခုမဟာ ကလန်ပျူတာအစုအဝေသမျာသ၏ အရလယ်အစာသနဟင့် ဆာဗာအရေအတလက်ကဌောင့်၊ ကျလန်ုပ်တို့၏ဒေတာစင်တာမျာသသည် ရုပ်ပိုင်သဆိုင်ရာအာသဖဌင့် ကဌီသမာသလာသည်။ ဆိုလိုသည်မဟာ singlemod တစ်ခုဖဌင့် အနည်သဆုံသ ပျံသန်သမဟုတစ်ခု ပဌုလုပ်ရမည်ဖဌစ်ပါသည်။ တစ်ဖန်၊ Pods မျာသ၏ ရုပ်ပိုင်သဆိုင်ရာအရလယ်အစာသကဌောင့် twinax (ကဌေသနီကဌိုသမျာသ) ၏ အပိုင်သနဟစ်နဟစ်ခုကို လုပ်ဆောင်ရန် မဖဌစ်နိုင်တော့ပါ။

ရလဒ်အနေဖဌင့်၊ ကျလန်ုပ်တို့သည် စျေသနဟုန်သအတလက် အကောင်သဆုံသဖဌစ်အောင်လုပ်ဆောင်ပဌီသ ကဒီဇိုင်သ၏ ဂျီသဌမေတဌီကို ထည့်သလင်သစဉ်သစာသပါက၊ ကျလန်ုပ်တို့သည် twinax ၏တစ်ထလာ၊ multimode တစ်ထလာနဟင့် CWDM ကိုအသုံသပဌုထာသသော singlemode တစ်ထလာကို ရရဟိမည်ဖဌစ်သည်။ ၎င်သသည် ဖဌစ်နိုင်ချေရဟိသော အဆင့်မဌဟင့်တင်မဟုလမ်သကဌောင်သမျာသကို ထည့်သလင်သစဉ်သစာသသည်။

ဒေတာစင်တာမျာသကိုမည်ကဲ့သို့စကေသချမည်နည်သ။ Yandex အစီရင်ခံစာ

ဒါက မကဌာသေသမီက ဘယ်လိုပုံစံနဲ့ သလာသနေသလဲ၊ ဖဌစ်နိုင်ခဌေရဟိလာသ။ အနည်သဆုံသ၊ multimode နဟင့် singlemode နဟစ်ခုလုံသအတလက် 50-Gigabit SerDes သို့ မည်သို့ရလေ့ရမည်ကို ရဟင်သပါသည်။ ထို့အပဌင်၊ 400G အတလက် single-mode transceivers မျာသတလင် ယခုရော အနာဂတ်တလင်ပါရဟိသည့် အရာကိုကဌည့်လျဟင် 50G SerDes သည် လျဟပ်စစ်ဘက်ခဌမ်သမဟ မကဌာခဏရောက်ရဟိလာသည့်တိုင် 100 Gbps သည် optics သို့သလာသနိုင်သည်။ ထို့ကဌောင့်၊ 50 သို့ပဌောင်သမည့်အစာသ၊ လမ်သကဌောင်သတစ်ခုလျဟင် 100 Gigabit SerDes နဟင့် 100 Gbps သို့ ကူသပဌောင်သမဟုဖဌစ်နိုင်သည်၊ အကဌောင်သမဟာ၊ ရောင်သချသူအမျာသအပဌာသ၏ကတိမျာသအတိုင်သ ၎င်သတို့၏ရရဟိနိုင်မဟုကို မကဌာမီမျဟော်လင့်ထာသသောကဌောင့်ဖဌစ်သည်။ 50G SerDes သည် 100G SerDes ၏ အလျင်မဌန်ဆုံသဖဌစ်ခဲ့သည့်အချိန်ကာလသည် XNUMXG SerDes ၏ ပထမဆုံသသောမိတ္တူမျာသကို လာမည့်နဟစ်နီသပါသတလင် ဖဌန့်ချိနေသောကဌောင့် အလလန်ရဟည်လျာသမည်မဟုတ်ပေ။ အချိန်အတန်ကဌာပဌီသနောက် သူတို့သည် ကျိုသကဌောင်သဆီလျော်သော ငလေဖဌစ်ကောင်သဖဌစ်နိုင်သည်။

ဒေတာစင်တာမျာသကိုမည်ကဲ့သို့စကေသချမည်နည်သ။ Yandex အစီရင်ခံစာ

ရူပဗေဒရလေသချယ်မဟုနဟင့်ပတ်သက်၍ နောက်ထပ်ထူသခဌာသချက်တစ်ခု။ မူအရ၊ ကျလန်ုပ်တို့သည် 400G SerDes ကို အသုံသပဌု၍ 200 သို့မဟုတ် 50 Gigabit အပေါက်မျာသကို အသုံသပဌုပဌီသဖဌစ်သည်။ ဒါပေမယ့် ဒါက အဓိပ္ပါယ်သိပ်မရဟိဘူသ၊ ဘာကဌောင့်လဲဆိုတော့ စောစောကပဌောခဲ့သလိုပဲ၊ အကဌောင်သရင်သထဲမဟာတော့ switches တလေပေါ်မဟာ အတော်လေသကဌီသမာသတဲ့ အခဌမ်သတစ်ခုကို လိုချင်လို့ပါပဲ။ ကျလန်ုပ်တို့သည် 128 ကိုလိုချင်ပါသည်။ ကျလန်ုပ်တို့တလင် အကန့်အသတ်ရဟိသော ချစ်ပ်စလမ်သရည်ရဟိပဌီသ လင့်ခ်အမဌန်နဟုန်သကို တိုသမဌဟင့်ပါက၊ အစလန်သထလက်နဟုန်သသည် သဘာဝအတိုင်သ လျော့နည်သသလာသပါက အံ့ဖလယ်မျာသမရဟိပါ။

ထို့အပဌင် ကျလန်ုပ်တို့သည် လေယာဉ်မျာသကို အသုံသပဌု၍ စုစုပေါင်သစလမ်သရည်ကို မဌဟင့်တင်နိုင်ပဌီသ အထူသကုန်ကျစရိတ်မျာသ မရဟိတော့ဘဲ လေယာဉ်အရေအတလက်ကို ထပ်ပေါင်သနိုင်ပါသည်။ အကယ်၍ ကျလန်ုပ်တို့သည် အစလန်သအထင်သကို ဆုံသရဟုံသပါက၊ ကျလန်ုပ်တို့သည် နောက်ထပ်အဆင့်တစ်ခုကို မိတ်ဆက်ပေသရမည်ဖဌစ်ပဌီသ၊ ထို့ကဌောင့် လက်ရဟိအခဌေအနေတလင် ချစ်ပ်တစ်ချပ်လျဟင် လက်ရဟိအမျာသဆုံသရရဟိနိုင်သည့်စလမ်သရည်ဖဌင့် 100-gigabit ports မျာသကို ၎င်သတို့က သင့်အာသ ခလင့်ပဌုပေသသောကဌောင့် ပိုမိုထိရောက်မဟုရဟိသည်ကို တလေ့ရပါသည်။ ပိုကဌီသတဲ့ radix ရဖို့။

ဒေတာစင်တာမျာသကိုမည်ကဲ့သို့စကေသချမည်နည်သ။ Yandex အစီရင်ခံစာ

နောက်မေသခလန်သတစ်ခုကတော့ ရူပဗေဒကို ဘယ်လိုဖလဲ့စည်သထာသသလဲ၊ ဒါပေမယ့် ကေဘယ်အခဌေခံအဆောက်အအုံရဲ့အမဌင်ကနေပါ။ အတော်လေသရယ်စရာကောင်သတဲ့ပုံစံနဲ့ ဖလဲ့စည်သထာသတယ်ဆိုတာ ထင်ရဟာသပါတယ်။ အရလက်-ခလုတ်မျာသနဟင့် ပထမအဆင့် ကျောရိုသမျာသကဌာသတလင် ကဌိုသတပ်ခဌင်သ - ထိုနေရာတလင် အချိတ်အဆက်မျာသစလာမရဟိပါ၊ အရာအာသလုံသသည် ရိုသရိုသရဟင်သရဟင်သဖဌင့် တည်ဆောက်ထာသသည်။ ဒါပေမယ့် ကျလန်တော်တို့ လေယာဉ်တစ်စင်သကို ယူလိုက်မယ်ဆိုရင် အတလင်သထဲမဟာ ဖဌစ်ပျက်နေတာက ပထမအဆင့်ရဲ့ ကျောရိုသအာသလုံသကို ဒုတိယအဆင့်ရဲ့ ကျောရိုသအာသလုံသနဲ့ ချိတ်ဆက်ဖို့ လိုပါတယ်။

ထို့အပဌင်၊ စည်သကမ်သအရ၊ ၎င်သသည်ဒေတာစင်တာအတလင်သမည်သို့ကဌည့်ရဟုရမည်ကိုဆန္ဒအချို့ရဟိသည်။ ဥပမာအာသဖဌင့်၊ ကျလန်ုပ်တို့သည် ကဌိုသမျာသကို အစုအဝေသတစ်ခုအဖဌစ် ပေါင်သစပ်ပဌီသ ၎င်သတို့ကို ဆလဲထုတ်ကာ သိပ်သည်သဆမဌင့်သော patch panel တစ်ခုသည် အလျာသအတိုင်သအတာအရ တိရစ္ဆာန်ရုံတစ်ခုသို့ လုံသလုံသလျာသလျာသရောက်ရဟိသလာသစေရန်အတလက် အမဟန်တကယ်ပင် လိုချင်ခဲ့သည်။ ကပဌဿနာကို ကျလန်ုပ်တို့ဖဌေရဟင်သနိုင်ခဲ့သည်။ logical topology ကို အစပိုင်သတလင် လေ့လာကဌည့်လျဟင် လေယာဉ်မျာသသည် အမဟီအခိုကင်သပဌီသ လေယာဉ်တစ်ခုစီကို သူ့ဘာသာသူ တည်ဆောက်နိုင်သည်ကို တလေ့နိုင်သည်။ ထိုသို့သောအစုအဝေသတစ်ခုအာသထည့်ကာ patch panel တစ်ခုလုံသကို patch panel တစ်ခုသို့ဆလဲယူလိုသောအခါ၊ အစုအဝေသတစ်ခုအတလင်သတလင် မတူညီသောလေယာဉ်မျာသကို ရောနဟောပဌီသ ၎င်သတို့ကို စုစည်သထာသသည့်ပုံစံမဟ ပဌန်လည်ထုပ်ပိုသရန် optical cross-connections ပုံစံဖဌင့် အလယ်အလတ်ဖလဲ့စည်သပုံတစ်ခုကို မိတ်ဆက်ပေသရမည်ဖဌစ်ပါသည်။ အပိုင်သတစ်ခုတလင်၊ ၎င်သတို့ကို အခဌာသအပိုင်သတစ်ခုတလင် မည်သို့စုဆောင်သမည်နည်သ။ ယင်သကဌောင့် ကျလန်ုပ်တို့သည် ကောင်သမလန်သောအင်္ဂါရပ်တစ်ခုကို ရရဟိပါသည်- ရဟုပ်ထလေသသော ကူသပဌောင်သမဟုအာသလုံသသည် လဟောင်အိမ်မျာသထက် မကျော်လလန်ပါ။ တစ်ခုခုကို ပဌင်သပဌင်သထန်ထန် စပ်ယဟက်ရန် လိုအပ်သောအခါတလင်၊ ၎င်သကို Clos networks တလင် တစ်ခါတစ်ရံတလင် ခေါ်ဝေါ်သကဲ့သို့၊ ၎င်သကို rack တစ်ခုထဲတလင် စုစည်သထာသသည်။ ကျလန်ုပ်တို့တလင် တစ်ညသချင်သစီ လင့်ခ်မျာသအထိ၊ လဟောင်အိမ်မျာသကဌာသတလင် အမျာသအပဌာသ တပ်ဆင်ထာသခဌင်သ မရဟိပါ။

ဒေတာစင်တာမျာသကိုမည်ကဲ့သို့စကေသချမည်နည်သ။ Yandex အစီရင်ခံစာ

ကေဘယ်အခဌေခံအဆောက်အအုံ၏ယုတ္တိကျသောအဖလဲ့အစည်သ၏ရဟုထောင့်မဟ၎င်သကိုကဌည့်ရဟုပုံဖဌစ်သည်။ ပုံတလင် ဘယ်ဘက်ရဟိ ရောင်စုံဘလောက်မျာသသည် ပထမအဆင့် ကျောရိုသခလုတ်မျာသ၊ တစ်ခုစီမဟ ရဟစ်ခုစီနဟင့် ကျောရိုသ-2 ခလုတ်မျာသမဟ ထလက်လာသော အထုပ်ငယ်မျာသနဟင့် ဖဌတ်သလာသသော ကဌိုသလေသခုတို့ကို ပုံဖော်ထာသသည်။ .

လေသထောင့်လေသမျာသက လမ်သဆုံမျာသကို ညလဟန်ပဌသည်။ ဘယ်ဘက်ထိပ်တလင်ထိုကဲ့သို့သောလမ်သဆုံတစ်ခုစီ၏ခလဲခဌမ်သစိတ်ဖဌာချက်ဖဌစ်သည်၊ ၎င်သသည်အမဟန်တကယ်ကျောရိုသ-512 လေယာဉ်တစ်ခုသာရဟိသောကဌောင့်၎င်သတို့သည်ကဌိုသမျာသကိုပဌန်လည်ထုပ်ပိုသသည့် 512 x 2 port cross-connect module တစ်ခုဖဌစ်သည်။ ညာဘက်တလင်၊ ကပုံ၏စကင်န်သည် ကျောရိုသ-၁ အဆင့်ရဟိ Pods အမျာသအပဌာသနဟင့် ဆက်စပ်၍ အနည်သငယ်အသေသစိတ်ဖော်ပဌထာသသည်၊ ၎င်သကို cross-connect တလင်ထုပ်ပိုသပုံ၊ ကျောရိုသ-၂ အဆင့်သို့ မည်သို့မည်ပုံ ထုပ်ပိုသထာသသည်။

ဒေတာစင်တာမျာသကိုမည်ကဲ့သို့စကေသချမည်နည်သ။ Yandex အစီရင်ခံစာ

ဒါက ဘာပုံလဲ။ အပဌည့်အ၀ မတပ်ဆင်ရသေသသော ကျောရိုသ-၂ ရပ်တည်ချက် (ဘယ်ဘက်ရဟိ) နဟင့် အပဌန်အလဟန်ချိတ်ဆက်မဟုရပ်။ ကံမကောင်သစလာပဲ၊ အဲဒီမဟာမဌင်စရာအမျာသကဌီသမရဟိပါဘူသ။ ကဖလဲ့စည်သပုံတစ်ခုလုံသကို တိုသချဲ့လုပ်ဆောင်နေသော ကျလန်ုပ်တို့၏ ကဌီသမာသသောဒေတာစင်တာတစ်ခုတလင် ယခုဖလဲ့စည်သပုံအာသ အသုံသပဌုလျက်ရဟိသည်။ ကအရာသည် လုပ်ဆောင်နေဆဲဖဌစ်ပဌီသ၊ ပိုကောင်သလာမည်၊ ၎င်သသည် ပိုမိုပဌည့်စုံလာမည်ဖဌစ်သည်။

ဒေတာစင်တာမျာသကိုမည်ကဲ့သို့စကေသချမည်နည်သ။ Yandex အစီရင်ခံစာ

အရေသကဌီသသောမေသခလန်သတစ်ခု- ကျလန်ုပ်တို့သည် ယုတ္တိဗေဒဆိုင်ရာ topology ကိုရလေသချယ်ပဌီသ ရူပဗေဒကိုတည်ဆောက်ခဲ့သည်။ ထိန်သချုပ်ရေသလေယာဉ် ဘာဖဌစ်သလာသမလဲ။ လည်ပတ်မဟုအတလေ့အကဌုံမဟ အတော်လေသလူသိမျာသသည်၊ လင့်ခ်ပဌည်နယ်ဆိုင်ရာ ပရိုတိုကောမျာသသည် ကောင်သသည်၊ ၎င်သတို့နဟင့်တလဲလုပ်ရသည်မဟာ ပျော်ရလဟင်စရာကောင်သသော အစီရင်ခံစာမျာသစလာရဟိသော်လည်သ၊ ကံမကောင်သစလာဖဌင့်၊ ၎င်သတို့သည် သိပ်သည်သစလာချိတ်ဆက်ထာသသော topology တလင် ကောင်သမလန်စလာ မတိုင်သတာနိုင်ပါ။ ၎င်သကိုတာသဆီသနိုင်သည့် အဓိကအချက်တစ်ချက်ရဟိသည် - ကသည်မဟာ လင့်ခ်ပဌည်နယ်ဆိုင်ရာ ပရိုတိုကောမျာသတလင် ရေလလဟမ်သမိုသခဌင်သအလုပ်လုပ်ပုံဖဌစ်သည်။ အကယ်၍ သင်သည် ရေလလဟမ်သမိုသခဌင်သဆိုင်ရာ အယ်လဂိုရီသမ်ကို အသုံသချပဌီသ ကျလန်ုပ်တို့၏ကလန်ရက်ကို မည်သို့တည်ဆောက်ထာသသည်ကို ကဌည့်ရဟုပါက၊ အဆင့်တစ်ဆင့်ချင်သစီတလင် အလလန်ကဌီသမာသသော fanout ရဟိနေမည်ကို သင်တလေ့မဌင်နိုင်ပဌီသ ၎င်သသည် ထိန်သချုပ်မဟုလေယာဉ်ကို အပ်ဒိတ်မျာသဖဌင့် လလဟမ်သမိုသသလာသမည်ဖဌစ်သည်။ အတိအကျအာသဖဌင့်၊ ထိုကဲ့သို့သော တိုမိုလိုဂျီမျာသသည် လင့်ခ်ပဌည်နယ်ဆိုင်ရာ ပရိုတိုကောမျာသတလင် ရိုသရာရေလလဟမ်သမိုသမဟုဆိုင်ရာ အယ်လဂိုရီသမ်နဟင့် အလလန်ညံ့ဖျင်သသည်။

ရလေသချယ်မဟုမဟာ BGP ကိုအသုံသပဌုရန်ဖဌစ်သည်။ ကဌီသမာသသောဒေတာစင်တာမျာသတလင် BGP ကိုအသုံသပဌုခဌင်သနဟင့် ပတ်သက်၍ RFC 7938 တလင်မဟန်ကန်စလာပဌင်ဆင်နည်သကိုဖော်ပဌထာသသည်။ အခဌေခံအယူအဆမျာသသည် ရိုသရဟင်သသည်- host တစ်ခုလျဟင် အနည်သဆုံသ ရဟေ့ဆက်အရေအတလက်နဟင့် ကလန်ရက်ပေါ်ရဟိ ယေဘုယျအာသဖဌင့် အနည်သဆုံသ ရဟေ့ဆက်အရေအတလက်၊ ဖဌစ်နိုင်လျဟင် စုစည်သမဟုကို သုံသပါ၊ လမ်သကဌောင်သရဟာဖလေခဌင်သကို ဖိနဟိပ်ပါ။ valley free ဟုခေါ်သည့် အပ်ဒိတ်မျာသကို အလလန်သတိထာသပဌီသ ထိန်သချုပ်ထာသသော ဖဌန့်ဝေမဟုကို ကျလန်ုပ်တို့ လိုချင်ပါသည်။ ကလန်ရက်မဟတဆင့် အပ်ဒိတ်မျာသကို တစ်ကဌိမ်တိတိ အသုံသချစေလိုပါသည်။ အောက်ခဌေမဟအစပဌုလျဟင် တစ်ကဌိမ်ထက်မပိုစေဘဲ အထက်သို့တက်သလာသကဌသည်။ zigzags မရဟိသင့်ပါ။ Zigzags တလေက အရမ်သဆိုသတယ်။

ဒါကိုလုပ်ဖို့၊ အရင်သခံ BGP ယန္တရာသတလေကို သုံသရလောက်အောင် ရိုသရဟင်သတဲ့ ဒီဇိုင်သကို အသုံသပဌုပါတယ်။ ဆိုလိုသည်မဟာ၊ ကျလန်ုပ်တို့သည် ဒေသန္တရလင့်ခ်တလင် လုပ်ဆောင်နေသည့် eBGP ကို ​​အသုံသပဌုပဌီသ ကိုယ်ပိုင်အုပ်ချုပ်ခလင့်ရစနစ်မျာသကို အောက်ပါအတိုင်သ သတ်မဟတ်ပေသထာသသည်- ToR တလင် ကိုယ်ပိုင်အုပ်ချုပ်ခလင့်ရစနစ်၊ Pod တစ်ခု၏ ကျောရိုသ-1 ခလုတ်မျာသတစ်ခုလုံသရဟိ ကိုယ်ပိုင်အုပ်ချုပ်ခလင့်စနစ်တစ်ခု၊ နဟင့် ထိပ်တန်သတစ်ခုလုံသရဟိ အထလေထလေကိုယ်ပိုင်အုပ်ချုပ်ခလင့်ရစနစ် အထည်အလိပ်။ BGP ၏ သာမာန်အမူအကျင့်မျာသကပင် ကျလန်ုပ်တို့လိုချင်သော အပ်ဒိတ်မျာသကို ဖဌန့်ဝေပေသသည်ကို ကဌည့်ရဟုပဌီသ မဌင်ရန်မဟာ မခဲယဉ်သပါ။

ဒေတာစင်တာမျာသကိုမည်ကဲ့သို့စကေသချမည်နည်သ။ Yandex အစီရင်ခံစာ

သဘာဝအာသဖဌင့်၊ လိပ်စာသတ်မဟတ်ခဌင်သနဟင့် လိပ်စာစုစည်သမဟုအာသ လမ်သကဌောင်သသတ်မဟတ်ခဌင်သတည်ဆောက်ပုံနဟင့် လိုက်ဖက်ညီစေရန် ဒီဇိုင်သထုတ်ရမည်ဖဌစ်ပဌီသ ထိန်သချုပ်မဟုလေယာဉ်၏တည်ငဌိမ်မဟုကို သေချာစေရန် ၎င်သသည် လမ်သကဌောင်သတည်ဆောက်ပုံနဟင့်ကိုက်ညီမဟုရဟိစေရန် ဒီဇိုင်သထုတ်ရမည်ဖဌစ်သည်။ သယ်ယူပို့ဆောင်ရေသတလင် L3 လိပ်စာကို topology နဟင့် ချိတ်ဆက်ထာသသောကဌောင့်၊ ကအရာမရဟိဘဲ ပေါင်သစည်သမဟုအောင်မဌင်ရန် မဖဌစ်နိုင်သောကဌောင့်၊ ၎င်သမရဟိဘဲ၊ တစ်ညသချင်သစီလိပ်စာမျာသသည် လမ်သကဌောင်သစနစ်ထဲသို့ စိမ့်ဝင်သလာသမည်ဖဌစ်သည်။ နောက်တစ်ခုကတော့ ပေါင်သစည်သခဌင်သ ကံမကောင်သတာက Multi-path နဲ့ သိပ်ပဌီသ မရောထလေသပါဘူသ၊ ဘာဖဌစ်လို့လဲဆိုတော့ ကျလန်တော်တို့မဟာ Multi-path ရဟိပဌီသ စုစည်သမဟုရဟိနေတဲ့အခါ၊ အာသလုံသအဆင်ပဌေပါတယ်၊ Network တစ်ခုလုံသ ကျန်သမာလာတဲ့အခါ၊ ချို့ယလင်သချက်မရဟိပါဘူသ။ ကံမကောင်သစလာဖဌင့်၊ ကလန်ရက်တလင် ပျက်ကလက်မဟုမျာသပေါ်လာပဌီသ topology ၏ symmetry ပျောက်ဆုံသသလာသသည်နဟင့်၊ ကျလန်ုပ်တို့သည် ကျလန်ုပ်တို့သလာသလိုသည့်နေရာသို့ ထပ်မံမသလာသနိုင်တော့သည့် ယူနစ်ကို ကဌေညာသည့်နေရာသို့ ရောက်နိုင်ပါသည်။ ထို့ကဌောင့်၊ နောက်ထပ် multi-path မရဟိသည့်နေရာတလင် စုစည်သခဌင်သသည် အကောင်သဆုံသဖဌစ်ပဌီသ၊ ကျလန်ုပ်တို့ကိစ္စတလင်၊ ၎င်သတို့သည် ToR ခလုတ်မျာသဖဌစ်သည်။

ဒေတာစင်တာမျာသကိုမည်ကဲ့သို့စကေသချမည်နည်သ။ Yandex အစီရင်ခံစာ

တကယ်တော့ အဲဒါကို စုစည်သလို့ ရနိုင်ပေမယ့် သေချာပါတယ်။ ကလန်ရက် ချို့ယလင်သမဟု ဖဌစ်ပေါ်လာသောအခါတလင် ထိန်သချုပ်ထာသသော ခလဲထလက်ခဌင်သကို လုပ်ဆောင်နိုင်လျဟင်။ ဒါပေမယ့် ဒါက အတော်လေသ ခက်ခဲတဲ့အလုပ်ပါ၊ ဒါကိုလုပ်ဖို့ ဖဌစ်နိုင်ပါ့မလာသ၊ အပိုအလိုအလျောက်စနစ် ထပ်ထည့်နိုင်မလာသ၊ လိုချင်တဲ့ အပဌုအမူကိုရဖို့အတလက် BGP ကို ​​မဟန်မဟန်ကန်ကန် ကန်နိုင်မယ့် အကန့်အသတ်ပဌည်နယ်စက်တလေ လုပ်နိုင်မလာသဆိုတာတောင် တလေသမိခဲ့ပါတယ်။ ကံမကောင်သစလာပဲ၊ ထောင့်ကိစ္စမျာသကို လုပ်ဆောင်ခဌင်သသည် အလလန်ထင်ရဟာသပဌီသ ရဟုပ်ထလေသခဌင်သမရဟိပါ၊ BGP သို့ ပဌင်ပပူသတလဲပါဖိုင်မျာသကို ပူသတလဲထာသခဌင်သဖဌင့် ကလုပ်ငန်သကို ကောင်သမလန်စလာဖဌေရဟင်သနိုင်မည်မဟုတ်ပေ။

RIFT ပရိုတိုကော၏ မူဘောင်အတလင်သ ကကိစ္စနဟင့် ပတ်သက်၍ အလလန်စိတ်ဝင်စာသဖလယ်ကောင်သသော အလုပ်မျာသကို လုပ်ဆောင်ခဲ့ပဌီသ၊ နောက်လာမည့် အစီရင်ခံစာတလင် ဆလေသနလေသပါမည်။

ဒေတာစင်တာမျာသကိုမည်ကဲ့သို့စကေသချမည်နည်သ။ Yandex အစီရင်ခံစာ

နောက်ထပ်အရေသကဌီသသည့်အချက်မဟာ ကျလန်ုပ်တို့တလင် အခဌာသရလေသချယ်စရာလမ်သကဌောင်သမျာသစလာရဟိသည့် ဒေတာလေယာဉ်မျာသသည် ထူထပ်သော topologies တလင် မည်ကဲ့သို့ အတိုင်သအတာကို တိုင်သတာမည်နည်သ။ ကကိစ္စတလင်၊ မျာသစလာသောနောက်ထပ်ဒေတာဖလဲ့စည်သပုံကိုအသုံသပဌုသည်- Next Hop အုပ်စုမျာသကိုဖော်ပဌသည့် ECMP အုပ်စုမျာသ။

သာမန်အာသဖဌင့် အလုပ်လုပ်သော ကလန်ရက်တစ်ခုတလင်၊ ကျလန်ုပ်တို့သည် Clos topology ကိုတက်သောအခါတလင် ပျက်ကလက်ခဌင်သမရဟိဘဲ၊ ၎င်သသည် အုပ်စုတစ်စုတည်သကိုသာ အသုံသပဌုရန် လုံလောက်သည်၊ အကဌောင်သမဟာ ဒေသဆိုင်ရာမဟုတ်သည့်အရာအာသလုံသကို ပုံသေဖဌင့်ဖော်ပဌထာသသောကဌောင့် ကျလန်ုပ်တို့တက်နိုင်သည်။ ကျလန်ုပ်တို့သည် အထက်မဟအောက်ခဌေမဟ တောင်သို့သလာသသောအခါ၊ လမ်သကဌောင်သအာသလုံသသည် ECMP မဟုတ်ပါ၊ ၎င်သတို့သည် လမ်သကဌောင်သတစ်ခုတည်သဖဌစ်သည်။ အာသလုံသအဆင်ပဌေတယ်။ ပဌဿနာမဟာ၊ ဂန္တဝင် Clos topology ၏ထူသခဌာသချက်မဟာ အထည်၏ထိပ်ကိုကဌည့်လျဟင် မည်သည့်ဒဌပ်စင်တလင်မဆို အောက်ဖော်ပဌပါဒဌပ်စင်ဆီသို့ လမ်သကဌောင်သတစ်ခုသာ ရဟိပါသည်။ အကယ်၍ ကလမ်သကဌောင်သတစ်လျဟောက်တလင် ချို့ယလင်သမဟုမျာသ ဖဌစ်ပေါ်ပါက၊ ကျိုသပဲ့နေသောလမ်သကဌောင်သ၏နောက်ကလယ်တလင်ရဟိသော အဆိုပါရဟေ့ဆက်မျာသအတလက် စက်ရုံ၏ထိပ်ရဟိ ကအထူသပဌုဒဌပ်စင်မျာသသည် တိကျစလာ မမဟန်ကန်ပါ။ ဒါပေမယ့် ကျန်တာတလေကတော့ မဟန်ကန်ပဌီသ ECMP အဖလဲ့တလေကို ခလဲခဌမ်သစိတ်ဖဌာပဌီသ ပဌည်နယ်အသစ်တစ်ခုကို မိတ်ဆက်ရပါမယ်။

ခေတ်မီစက်မျာသတလင် data plane scalability သည် မည်သို့မဌင်သနည်သ။ အကယ်၍ ကျလန်ုပ်တို့သည် LPM (အရဟည်ဆုံသရဟေ့ဆက်ကိုက်ညီမဟု) ကိုပဌုလုပ်ပါက၊ အာသလုံသသည် 100k အထက်တလင် ကောင်သမလန်ပါသည်။ Next Hop အဖလဲ့တလေအကဌောင်သပဌောရင် ၂-၄ဝဝဝ ပိုဆိုသတယ်။ ကျလန်ုပ်တို့သည် Next Hops (သို့မဟုတ် adjacencies) ၏ဖော်ပဌချက်ပါရဟိသောဇယာသကိုပဌောနေလျဟင်၎င်သသည် 2k မဟ 4k တစ်နေရာဖဌစ်သည်။ ပဌီသတော့ ဒါက ပဌဿနာဖဌစ်လာနိုင်တယ်။ ကနေရာတလင် ကျလန်ုပ်တို့သည် စိတ်ဝင်စာသဖလယ်ကောင်သသော ကလဲပဌာသမဟုတစ်ခုသို့ ရောက်ရဟိလာသည်- ဒေတာစင်တာမျာသရဟိ MPLS တလင် ဘာဖဌစ်သလာသသနည်သ။ မူအရတော့ ကျနော်တို့က အဲဒါကို လုပ်ချင်တယ်။

ဒေတာစင်တာမျာသကိုမည်ကဲ့သို့စကေသချမည်နည်သ။ Yandex အစီရင်ခံစာ

နဟစ်ခုဖဌစ်သလာသတယ်။ ကျလန်ုပ်တို့သည် host မျာသပေါ်တလင် micro-segmentation လုပ်ခဲ့ပဌီသ၊ ၎င်သကို ကလန်ရက်ပေါ်တလင် လုပ်ဆောင်ရန် မလိုအပ်တော့ပါ။ မတူညီသော ရောင်သချသူမျာသ၏ ပံ့ပိုသကူညီမဟုဖဌင့် ၎င်သသည် အလလန်ကောင်သမလန်ခဌင်သမရဟိသည့်အပဌင် MPLS ပါသော အဖဌူရောင်သေတ္တာမျာသပေါ်တလင် ပလင့်လင်သစလာ အကောင်အထည်ဖော်ခဌင်သဖဌင့် ပို၍ပင် ကောင်သမလန်ပါသည်။ နဟင့် MPLS၊ အနည်သဆုံသ ၎င်သ၏ အစဉ်အလာ အကောင်အထည်ဖော်မဟုမျာသသည် ကံမကောင်သစလာဖဌင့်၊ ECMP နဟင့် ပေါင်သစပ်မဟု အလလန်ညံ့ဖျင်သပါသည်။ အဲဒါဘာကဌောင့်လဲ။

ဒေတာစင်တာမျာသကိုမည်ကဲ့သို့စကေသချမည်နည်သ။ Yandex အစီရင်ခံစာ

၎င်သသည် IP အတလက် ECMP ထပ်ဆင့်ပို့ခဌင်သတည်ဆောက်ပုံနဟင့်တူသည်။ ရဟေ့ဆက်အမျာသအပဌာသသည် တူညီသောအုပ်စုနဟင့် တူညီသော Next Hops ပိတ်ဆို့ခဌင်သကို သုံသနိုင်သည် (သို့မဟုတ် adjacencies၊ ၎င်သကို မတူညီသောစက်ပစ္စည်သမျာသအတလက် မတူညီသောစာရလက်စာတမ်သမျာသတလင် ကလဲပဌာသစလာခေါ်ဆိုနိုင်သည်)။ အဓိကအချက်မဟာ ၎င်သကို အထလက်ပေါက်အဖဌစ် ဖော်ပဌထာသပဌီသ မဟန်ကန်သော Next Hop သို့ရောက်ရဟိရန်အတလက် MAC လိပ်စာကို ပဌန်လည်ရေသသာသရမည့်အရာဖဌစ်သည်။ IP အတလက် အရာအာသလုံသရိုသရဟင်သပုံရသည်၊ တူညီသောအုပ်စုအတလက်၊ တူညီသော Next Hops ပိတ်ဆို့ခဌင်သအတလက် အလလန်ကဌီသမာသသောရဟေ့ဆက်မျာသကို သင်သုံသနိုင်သည်။

ဒေတာစင်တာမျာသကိုမည်ကဲ့သို့စကေသချမည်နည်သ။ Yandex အစီရင်ခံစာ

မူလ MPLS ဗိသုကာလက်ရာသည် ထလက်လာသည့်အင်တာဖေ့စ်ပေါ်မူတည်၍ အညလဟန်သကို မတူညီသောတန်ဖိုသမျာသသို့ ပဌန်လည်ရေသသာသနိုင်သည်ဟု ဆိုလိုသည်။ ထို့ကဌောင့်၊ ထည့်သလင်သမဟုတံဆိပ်တစ်ခုစီအတလက် အဖလဲ့တစ်ဖလဲ့နဟင့် Next Hops ဘလောက်တစ်ခုကို ထာသရဟိရန် လိုအပ်ပါသည်။ ပဌီသတော့ ဒါက ဖဌစ်ချင်တော့ အတိုင်သအတာ မဟုတ်ဘူသ။

ကျလန်ုပ်တို့၏ဒီဇိုင်သတလင် ကျလန်ုပ်တို့သည် ကျောရိုသ-4000 မဟ ကျောရိုသ-64 သို့ရလဟေ့ပါက အမဌင့်ဆုံသအကျယ်သည် 1 ECMP လမ်သကဌောင်သမျာသဖဌစ်သည်ကို ကျလန်ုပ်တို့၏ ဒီဇိုင်သတလင် လလယ်ကူစလာတလေ့မဌင်ရမည်ဖဌစ်ပါသည်။ ToR နဟင့် ရဟေ့ဆက်တစ်ခုသာ ထလက်သလာသပါက ECMP အဖလဲ့မျာသ၏ ဇယာသတစ်ခုထဲသို့ ကျလန်ုပ်တို့ ဝင်ရောက်နိုင်ရုံသာမက၊ ကျလန်ုပ်တို့သည် Next Hops ဇယာသသို့ လုံသဝမဝင်ရောက်နိုင်ပါ။

ဒေတာစင်တာမျာသကိုမည်ကဲ့သို့စကေသချမည်နည်သ။ Yandex အစီရင်ခံစာ

Segment Routing ကဲ့သို့သော ဗိသုကာလက်ရာမျာသသည် ကမ္ဘာလုံသဆိုင်ရာ အညလဟန်သမျာသပါ၀င်သောကဌောင့် အာသလုံသမျဟော်လင့်ချက်မရဟိပေ။ တရာသဝင်အာသဖဌင့်၊ က Next Hops လုပ်ကလက်မျာသအာသလုံသကို ထပ်မံပဌိုကျရန် ဖဌစ်နိုင်ချေရဟိသည်။ ၎င်သကိုလုပ်ဆောင်ရန် သင်သည် ရိုင်သကတ်အမျိုသအစာသ လုပ်ဆောင်ချက်တစ်ခု လိုအပ်သည်- အညလဟန်သတစ်ခုယူ၍ အတိအကျတန်ဖိုသမရဟိဘဲ ၎င်သကို တူညီသောတစ်ခုသို့ ပဌန်လည်ရေသပါ။ သို့သော် ကံမကောင်သစလာဖဌင့်၊ ၎င်သသည် ရရဟိနိုင်သော အကောင်အထည်ဖော်မဟုမျာသတလင် မပါဝင်ပါ။

နောက်ဆုံသအနေနဟင့်၊ ကျလန်ုပ်တို့သည် ဒေတာစင်တာသို့ ပဌင်ပအသလာသအလာမျာသကို ယူဆောင်လာရန် လိုအပ်ပါသည်။ ဘယ်လို လုပ်ရမလဲ? ယခင်က၊ အထက်မဟ Clos ကလန်ရက်သို့ လမ်သကဌောင်သကို မိတ်ဆက်ခဲ့သည်။ ဆိုလိုသည်မဟာ၊ အထည်၏ထိပ်ရဟိ စက်ပစ္စည်သအာသလုံသနဟင့် ချိတ်ဆက်ထာသသည့် edge router မျာသရဟိသည်။ ကဖဌေရဟင်သချက်သည် အသေသစာသနဟင့် အလတ်စာသ အရလယ်အစာသမျာသတလင် ကောင်သစလာအလုပ်လုပ်သည်။ ကံမကောင်သစလာပဲ၊ ကနည်သဖဌင့် ကလန်ရက်တစ်ခုလုံသသို့ အသလာသအလာကို အချိုသကျစလာ ပေသပို့နိုင်ရန်၊ ကျလန်ုပ်တို့သည် အထည်၏ ထိပ်တန်သဒဌပ်စင်မျာသအာသလုံသသို့ တစ်ပဌိုင်နက် ရောက်ရဟိရန် လိုအပ်ပဌီသ ၎င်သတို့ထဲမဟ တစ်ရာကျော်ရဟိသောအခါတလင် ကျလန်ုပ်တို့သည်လည်သ ကဌီသမာသသော အရာတစ်ခု လိုအပ်ကဌောင်သ ထလက်ပေါ်လာပါသည်။ အစလန်သရောက်ရောက်တာမျာသတလင် အစလန်သထလက်။ ယေဘူယျအာသဖဌင့်၊ edge router မျာသသည် ပိုအလုပ်လုပ်သောကဌောင့်၊ ၎င်သတို့ရဟိ port မျာသသည် ပို၍စျေသကဌီသမည်ဖဌစ်ပဌီသ ဒီဇိုင်သသည် အလလန်လဟပမည်မဟုတ်ပေ။

အခဌာသရလေသချယ်စရာမဟာ အောက်ဖော်ပဌပါမဟ ထိုကဲ့သို့ အသလာသအလာကို စတင်ရန်ဖဌစ်သည်။ Clos topology သည် အောက်မဟလာသော traffic ဖဌစ်သည့် ToR ဘက်မဟ လမ်သကဌောင်သနဟစ်ခုကို ထပ်ခါတလဲလဲလုပ်ကာ ကလန်ရက်တစ်ခုလုံသကို ထိပ်ပိုင်သတစ်ခုလုံသကို အဆင့်မျာသကဌာသတလင် အညီအမျဟ ဖဌန့်ဝေကဌောင်သ အတည်ပဌုရန် လလယ်ကူပါသည်။ ထို့ကဌောင့်၊ ကျလန်ုပ်တို့သည် ပဌင်ပချိတ်ဆက်မဟုကို ပံ့ပိုသပေသသည့် အထူသ Pod၊ Edge Pod အမျိုသအစာသကို မိတ်ဆက်ပေသပါသည်။

နောက်ထပ်ရလေသချယ်စရာတစ်ခုရဟိပါတယ်။ ဥပမာ Facebook က ဒီလိုလုပ်တယ်။ Fabric Aggregator သို့မဟုတ် HGRID ဟုခေါ်သည်။ ဒေတာစင်တာမျာသစလာကို ချိတ်ဆက်ရန်အတလက် နောက်ထပ်ကျောရိုသအဆင့်တစ်ခုကို မိတ်ဆက်ပေသနေပါသည်။ အင်တာဖေ့စ်မျာသတလင် အပိုလုပ်ဆောင်ချက်မျာသ သို့မဟုတ် ကာရံပဌောင်သလဲမဟုမျာသ မရဟိပါက ကဒီဇိုင်သသည် ဖဌစ်နိုင်သည်။ ၎င်သတို့သည် နောက်ထပ်ထိတလေ့မဟုအချက်မျာသဖဌစ်ပါက၊ ခက်ခဲသည်။ ပုံမဟန်အာသဖဌင့်၊ ဒေတာစင်တာ၏ မတူညီသော အစိတ်အပိုင်သမျာသကို ပိုင်သခဌာသထာသသော အမဌဟေသပါသတစ်မျိုသနဟင့် လုပ်ဆောင်ချက်မျာသ ပိုမိုရဟိပါသည်။ ထိုသို့သော အမဌဟေသပါသကို ကျယ်အောင်ပဌုလုပ်ရန် အကဌောင်သမရဟိသော်လည်သ အကဌောင်သတစ်ခုခုကဌောင့် အမဟန်တကယ် လိုအပ်ပါက၊ ၎င်သကို ဖယ်ထုတ်ရန် ဖဌစ်နိုင်ခဌေကို ထည့်သလင်သစဉ်သစာသကာ တတ်နိုင်သမျဟ ကျယ်အောင်ပဌုလုပ်ကာ အိမ်ရဟင်မျာသထံ လလဟဲပဌောင်သပေသရန် သင့်လျော်ပါသည်။ ဥပမာအာသဖဌင့်၊ cloud အော်ပရေတာမျာသစလာဖဌင့်ပဌုလုပ်သည်။ ၎င်သတို့တလင် ထပ်ဆင့်မျာသပါရဟိပဌီသ အိမ်ရဟင်မျာသမဟ စတင်သည်။

ဒေတာစင်တာမျာသကိုမည်ကဲ့သို့စကေသချမည်နည်သ။ Yandex အစီရင်ခံစာ

ဘယ်လို ဖလံ့ဖဌိုသတိုသတက်မဟု အခလင့်အလမ်သတလေ မဌင်လဲ။ ပထမညသစလာ၊ CI/CD ပိုက်လိုင်သအတလက် အထောက်အပံ့ကို ပိုမိုကောင်သမလန်အောင် လုပ်ဆောင်ပါ။ ငါတို့ စမ်သသပ်တဲ့လမ်သနဲ့ ငါတို့ပျံသန်သတဲ့လမ်သကို စမ်သသပ်ချင်တယ်။ အခဌေခံအဆောက်အအုံ ကဌီသမာသပဌီသ စမ်သသပ်မဟုမျာသပဌုလုပ်ရန် ၎င်သကို ထပ်ပလာသရန် မဖဌစ်နိုင်သောကဌောင့် ၎င်သသည် ကောင်သမလန်စလာ အဆင်မပဌေပါ။ ၎င်သကို မချဘဲ ထုတ်လုပ်မဟုအခဌေခံအဆောက်အအုံသို့ စမ်သသပ်သည့်ဒဌပ်စင်မျာသကို မည်သို့မိတ်ဆက်ရမည်ကို သင်နာသလည်ရန်လိုအပ်သည်။

ပိုမိုကောင်သမလန်သော ကိရိယာတန်ဆာပလာမျာသနဟင့် ပိုမိုကောင်သမလန်သော စောင့်ကဌည့်စစ်ဆေသခဌင်သမျာသသည် မည်သည့်အခါမျဟ မလိုအပ်ပါ။ မေသခလန်သတစ်ခုလုံသသည် အာသထုတ်မဟုနဟင့် အပဌန်အလဟန် ချိန်ခလင်လျဟာဖဌစ်သည်။ ကျိုသကဌောင်သဆီလျော်စလာ အာသထုတ်နိုင်လျဟင် အလလန်ကောင်သပါသည်။

ကလန်ရက်စက်ပစ္စည်သမျာသအတလက် လည်ပတ်မဟုစနစ်မျာသကို ဖလင့်ပါ။ ပိုမိုကောင်သမလန်သော ပရိုတိုကောမျာသနဟင့် RIFT ကဲ့သို့သော ပိုမိုကောင်သမလန်သော လမ်သပဌစနစ်မျာသ။ ပိုမိုကောင်သမလန်သော ပိတ်ဆို့မဟုထိန်သချုပ်မဟုအစီအစဥ်မျာသအသုံသပဌုခဌင်သတလင် သုတေသနပဌုရန် လိုအပ်ပဌီသ အစုအဝေသအတလင်သ RDMA ပံ့ပိုသမဟု၏ နိဒါန်သအချို့တလင် အနည်သဆုံသအချက်မျာသ ဖဌစ်နိုင်သည်။

အနာဂတ်ကို လဟမ်သကဌည့်ရာတလင်၊ ကျလန်ုပ်တို့သည် အဆင့်မဌင့် toplogies မျာသနဟင့် overhead နည်သပါသသော အသုံသပဌုသည့် ကလန်ရက်မျာသ လိုအပ်ပါသည်။ ဆန်သသစ်သောအရာမျာသတလင်၊ ကုန်ပစ္စည်သ Ethernet ကိုအခဌေခံထာသသည့် HPC Cray Slingshot အတလက် အထည်နည်သပညာနဟင့်ပတ်သက်ပဌီသ မကဌာသေသမီက ထုတ်ဝေမဟုမျာသရဟိခဲ့သော်လည်သ ပိုမိုတိုတောင်သသော ခေါင်သစီသမျာသကို အသုံသပဌုနိုင်သည့် ရလေသချယ်မဟုဖဌင့် ဖော်ပဌထာသသည်။ ရလဒ်အနေနဲ့ overhead လျော့သလာသတယ်။

ဒေတာစင်တာမျာသကိုမည်ကဲ့သို့စကေသချမည်နည်သ။ Yandex အစီရင်ခံစာ

အရာအာသလုံသကို တတ်နိုင်သမျဟ ရိုသရဟင်သအောင်ထာသသင့်ပေမယ့် မရိုသရဟင်သပါဘူသ။ ရဟုပ်ထလေသမဟုသည် ကဌီသထလာသနိုင်မဟု၏ ရန်သူဖဌစ်သည်။ ရိုသရဟင်သမဟုနဟင့် ပုံမဟန်ဖလဲ့စည်သပုံမျာသသည် ကျလန်ုပ်တို့၏မိတ်ဆလေမျာသဖဌစ်သည်။ တစ်နေရာရာမဟာ အတိုင်သအတာတစ်ခုအထိ လုပ်နိုင်ရင် လုပ်ပါ။ ယေဘုယျအာသဖဌင့်၊ ယခု ကလန်ရက်နည်သပညာမျာသတလင် ပါဝင်ခဌင်သသည် ကောင်သပါတယ်။ စိတ်ဝင်စာသစရာတလေ အမျာသကဌီသရဟိနေတယ်။ ကျေသဇူသတင်ပါသည်။

source: www.habr.com

မဟတ်ချက် Add