ကလေသမျာသအတလက် အလိုအလျောက်စနစ်။ အပိုင်သနဟစ်။ ကလန်ရက်ဒီဇိုင်သ

ပထမဆောင်သပါသနဟစ်ပုဒ်တလင်၊ ကျလန်ုပ်သည် အလိုအလျောက်စနစ်ဆိုင်ရာပဌဿနာကိုတင်ပဌပဌီသ ၎င်သ၏မူဘောင်ကို ရေသဆလဲခဲ့ပဌီသ၊ ဒုတိယပိုင်သတလင် ဝန်ဆောင်မဟုမျာသ၏ဖလဲ့စည်သပုံကို အလိုအလျောက်လုပ်ဆောင်ခဌင်သ၏ပထမနည်သလမ်သအဖဌစ် network virtualization သို့ ပဌန်လည်ဆုတ်ခလာခဲ့သည်။
ယခုအခါ Physical Network ၏ ပုံကဌမ်သဆလဲရန် အချိန်ကျရောက်ပဌီဖဌစ်သည်။

အကယ်၍ သင်သည် ဒေတာစင်တာကလန်ရက်မျာသ တပ်ဆင်ခဌင်သနဟင့်ပတ်သက်၍ မရင်သနဟီသပါက၊ ၎င်သနဟင့် စတင်ရန် ကျလန်ုပ်အကဌံပဌုလိုပါသည်။ သူတို့အကဌောင်သ ဆောင်သပါသမျာသ.

ပဌဿနာအာသလုံသ-

ကစီသရီသတလင်ဖော်ပဌထာသသော အလေ့အကျင့်မျာသသည် ရောင်သချသူအမျိုသမျိုသနဟင့် မည်သည့်ကလန်ရက်အမျိုသအစာသ၊ မည်သည့်အရလယ်အစာသနဟင့်မဆို သက်ဆိုင်သင့်သည်။ သို့သော် ကချဉ်သကပ်နည်သမျာသကို အသုံသချခဌင်သ၏ စကဌဝဠာစံနမူနာကို ဖော်ပဌရန် မဖဌစ်နိုင်ပေ။ ထို့ကဌောင့်၊ ကျလန်ုပ်သည် DC ကလန်ရက်၏ ခေတ်မီဗိသုကာလက်ရာကို အာရုံစိုက်ပါမည်။ Kloz စက်ရုံ.
MPLS L3VPN တလင် DCI လုပ်ပါမည်။

Overlay ကလန်ရက်သည် host မဟ ရုပ်ပိုင်သဆိုင်ရာကလန်ရက်၏ထိပ်တလင် အလုပ်လုပ်သည် (၎င်သသည် OpenStack ၏ VXLAN သို့မဟုတ် Tungsten Fabric သို့မဟုတ် ကလန်ရက်မဟ အခဌေခံ IP ချိတ်ဆက်မဟုသာ လိုအပ်သည့် အခဌာသအရာမျာသ ဖဌစ်နိုင်သည်)။

ကလေသမျာသအတလက် အလိုအလျောက်စနစ်။ အပိုင်သနဟစ်။ ကလန်ရက်ဒီဇိုင်သ

ကကိစ္စတလင်၊ ကျလန်ုပ်တို့တလင် တူညီသောပုံစံဖဌင့် configure လုပ်ထာသသော စက်အမဌောက်အမဌာသရဟိသောကဌောင့် automation အတလက် အတော်လေသရိုသရဟင်သသော မဌင်ကလင်သတစ်ခုကို ကျလန်ုပ်တို့ရရဟိသည်။

ကျလန်ုပ်တို့သည် လေဟာနယ်တလင် လုံသပတ် DC ကို ရလေသပါမည်-

  • နေရာတိုင်သတလင် ဒီဇိုင်သဗာသရဟင်သတစ်မျိုသ။
  • ကလန်ရက်လေယာဉ်နဟစ်စင်သကို ဖဌန့်ကျက်ရောင်သချသူနဟစ်ညသ။
  • DC တစ်ခုသည် ပဲတောင့်တစ်ခုရဟိ ပဲနဟစ်ကောင်နဟင့်တူသည်။

အကဌောင်သအရာ

  • ရုပ်ပိုင်သဆိုင်ရာ topology
  • လမ်သကဌောင်သပေသ
  • IP အစီအစဉ်
  • လဘ
  • ကောက်ချက်
  • အသုံသဝင်သောလင့်မျာသ

ဥပမာအာသဖဌင့် ကျလန်ုပ်တို့၏ ဝန်ဆောင်မဟုပေသသူ LAN_DC သည် ဓာတ်လဟေကာသထဲတလင် အသက်ရဟင်ကျန်ရစ်ခဌင်သဆိုင်ရာ လေ့ကျင့်ရေသဗီဒီယိုမျာသကို လက်ခံဆောင်ရလက်ပေသပါစေ။

ကဌီသကျယ်ခမ်သနာသသော နေရာမျာသတလင် ၎င်သသည် အလလန်ရေပန်သစာသသောကဌောင့် ရုပ်ပိုင်သဆိုင်ရာ စက်မျာသစလာ လိုအပ်ပါသည်။

ပထမညသစလာ ကျလန်ုပ်သည် ကျလန်ုပ်အလိုရဟိသည့်အတိုင်သ ကလန်ရက်ကို အနီသစပ်ဆုံသဖော်ပဌပါမည်။ ပဌီသတော့ ဓာတ်ခလဲခန်သအတလက် ရိုသရဟင်သအောင် လုပ်မယ်။

ရုပ်ပိုင်သဆိုင်ရာ topology

တည်နေရာမျာသ

LAN_DC တလင် DC 6 ခု ရဟိသည်-

  • ရုရဟာသ (RU):
    • မော်စကို (msk)
    • ကာဇန် (kzn)

  • စပိန် (SP):
    • ဘာစီလိုနာ (bcn)
    • မာလာဂါ (mlg)

  • တရုတ် (CN):
    • ရဟန်ဟိုင်သ (Sha)
    • Xi'an (SIA)

ကလေသမျာသအတလက် အလိုအလျောက်စနစ်။ အပိုင်သနဟစ်။ ကလန်ရက်ဒီဇိုင်သ

အတလင်သ DC (Intra-DC)

DC အာသလုံသတလင် Clos topology ကိုအခဌေခံ၍ တူညီသောအတလင်သပိုင်သချိတ်ဆက်မဟုကလန်ရက်မျာသရဟိသည်။
၎င်သတို့သည် မည်သို့သော Clos ကလန်ရက်မျာသဖဌစ်ပဌီသ ၎င်သတို့သည် အဘယ်ကဌောင့် သီသခဌာသဖဌစ်နေသနည်သ။ ဆောင်သပါသ.

DC တစ်ခုစီတလင် စက်မျာသပါရဟိသော rack 10 ခုပါရဟိပဌီသ ၎င်သတို့ကို ရေတလက်မည်ဖဌစ်သည်။ A, B, C ဒါပေါ်မဟာ။

Rack တစ်ခုစီတလင် စက် 30 ရဟိသည်။ သူတို့က ငါတို့ကို စိတ်ဝင်စာသမဟာမဟုတ်ဘူသ။

rack တစ်ခုစီတလင် စက်အာသလုံသချိတ်ဆက်ထာသသည့် switch တစ်ခုပါရဟိသည် - ဒါက Rack ခလုတ်၏ထိပ် - ToR သို့မဟုတ်ပါက Clos စက်ရုံ၏စည်သကမ်သချက်မျာသအရ၊ ၎င်သကိုကျလန်ုပ်တို့ခေါ်ပါမည်။ အရလက်.

ကလေသမျာသအတလက် အလိုအလျောက်စနစ်။ အပိုင်သနဟစ်။ ကလန်ရက်ဒီဇိုင်သ
စက်ရုံ၏အထလေထလေပုံကဌမ်သ။

သူတို့ကို ခေါ်သလာသမယ်။ XXX က- အရလက်Yဘယ်မဟာ XXX က - စာလုံသသုံသလုံသအတိုကောက် DC နဟင့် Y - နံပါတ်စဥ်။ ဥပမာအာသဖဌင့်, kzn-leaf11.

ကျလန်ုပ်၏ ဆောင်သပါသမျာသတလင် Leaf နဟင့် ToR ဟူသော ဝေါဟာရမျာသကို အဓိပ္ပါယ်တူတူ ကလဲလလဲချော်ချော် အသုံသပဌုခလင့် ပဌုပါမည်။ သို့သော်၊ ကကိစ္စမဟုတ်ကဌောင်သကိုကျလန်ုပ်တို့သတိရရမည်ဖဌစ်သည်။
ToR သည် စက်မျာသချိတ်ဆက်ထာသသည့် ထိန်သိမ်သတလင် တပ်ဆင်ထာသသော ခလုတ်တစ်ခုဖဌစ်သည်။
Leaf သည် ရုပ်ပိုင်သဆိုင်ရာကလန်ရက်တစ်ခု သို့မဟုတ် Cloes topology အရ ပထမအဆင့်ခလုတ်တစ်ခု၏ အခန်သကဏ္ဍဖဌစ်သည်။
အဲဒါကတော့ Leaf != ToR ပါ။
ဥပမာအာသဖဌင့် Leaf သည် EndofRaw ခလုတ်တစ်ခု ဖဌစ်နိုင်သည်။
သို့သော်၊ ကဆောင်သပါသ၏ဘောင်အတလင်သ ၎င်သတို့ကို အဓိပ္ပါယ်တူမျာသအဖဌစ် ကျလန်ုပ်တို့ ဆက်လက်ခံယူပါမည်။

ToR ခလုတ်တစ်ခုစီသည် ပိုမိုမဌင့်မာသသောအဆင့်ပေါင်သစည်သမဟုခလုတ်လေသခုနဟင့် ချိတ်ဆက်ထာသသည်- ကဌောရိုသ. DC ရဟိ ထိန်သိမ်သတစ်ခုကို Spines အတလက် ခလဲဝေပေသသည်။ ၎င်သကို အလာသတူအမည်ပေသမည်- XXX က- ကျောရိုသY.

တူညီသော rack တလင် MPLS နဟင့် DC - 2 router မျာသကဌာသ ချိတ်ဆက်မဟုအတလက် ကလန်ရက်ကိရိယာမျာသ ပါရဟိသည်။ သို့သော် ယေဘုယျအာသဖဌင့် ကအရာမျာသသည် တူညီသော ToRs မျာသဖဌစ်သည်။ ဆိုလိုသည်မဟာ Spine switches မျာသ၏အမဌင်အရ၊ ချိတ်ဆက်ထာသသောစက်မျာသ သို့မဟုတ် DCI အတလက် router တစ်ခုပါရဟိသည့် ပုံမဟန် ToR သည် လုံသဝအရေသမကဌီသပါ - forwarding မျဟသာဖဌစ်သည်။

ထိုသို့သော အထူသ ToRs မျာသကို ခေါ်သည်။ အစလန်သ-အရလက်. သူတို့ကို ခေါ်သလာသမယ်။ XXX က-gegeY.

ဒီပုံစံအတိုင်သဖဌစ်လိမ့်မယ်။

ကလေသမျာသအတလက် အလိုအလျောက်စနစ်။ အပိုင်သနဟစ်။ ကလန်ရက်ဒီဇိုင်သ

အထက်ဖော်ပဌပါ ပုံတလင် ကျလန်ုပ်သည် အစလန်သနဟင့် အရလက်ကို တူညီသော အဆင့်တလင် ချထာသပါသည်။ ဂန္တဝင်သုံသလလဟာကလန်ရက်မျာသ သူတို့က uplinking (ထို့ကဌောင့်အခေါ်အဝေါ်) ကို uplinks အဖဌစ်စဉ်သစာသရန်ကျလန်တော်တို့ကိုသင်ပေသတယ်။ ကနေရာတလင် DCI “uplink” သည် နောက်ပဌန်ကျသလာသသည်၊ အချို့အတလက် ပုံမဟန်ယုတ္တိဗေဒကို အနည်သငယ်ကလဲလလဲစေသောအချက်ဖဌစ်သည်။ ကဌီသမာသသောကလန်ရက်မျာသတလင် ဒေတာစင်တာမျာသကို သေသငယ်သောယူနစ်မျာသအဖဌစ် ပိုင်သခဌာသသည့်အခါ၊ POD's (Point Of Delivery)၊ တစ်ညသချင်သစီကို အသာသပေသဖော်ပဌပါ။ Edge-PODDCI အတလက် နဟင့် ပဌင်ပကလန်ရက်မျာသသို့ ဝင်ရောက်ခလင့်

အနာဂတ်တလင် ထင်မဌင်လလယ်စေရန်အတလက်၊ ကျောရိုသပေါ်တလင် ဉာဏ်ရည်ဉာဏ်သလေသမရဟိသည့်အပဌင် ပုံမဟန် Leaf နဟင့် Edge-leaf တို့နဟင့် တလဲဖက်လုပ်ဆောင်သည့်အခါတလင် Edge ကို ကျောရိုသပေါ်တလင် ဆက်လက်ရေသဆလဲထာသဆဲဖဌစ်သည် (ကနေရာတလင် ကလဲပဌာသမဟုမျာသရဟိနိုင်သော်လည်သ၊ ဒါပေမယ့် ယေဘူယျအာသဖဌင့်တော့ ဒါက မဟန်ပါတယ်)။

ကလေသမျာသအတလက် အလိုအလျောက်စနစ်။ အပိုင်သနဟစ်။ ကလန်ရက်ဒီဇိုင်သ
Edge-leafs ပါတဲ့ စက်ရုံတစ်ခုရဲ့ အစီအစဉ်။

သစ်ရလက်၊ ကျောရိုသနဟင့် အစလန်သတို့၏ သုံသပါသတစ်ဆူသည် အောက်ခံကလန်ရက် သို့မဟုတ် စက်ရုံတစ်ခုဖဌစ်သည်။

ကျလန်ုပ်တို့သတ်မဟတ်ထာသပဌီသဖဌစ်သည့်အတိုင်သ ကလန်ရက်စက်ရုံတစ်ရုံ၏တာဝန် (အောက်ကိုဖတ်ရန်) နောက်ဆုံသကိစ္စတူညီသော DC အတလင်သနဟင့် ၎င်သတို့ကဌာသရဟိ စက်မျာသကဌာသ IP ချိတ်ဆက်မဟုကို ပံ့ပိုသရန် အလလန်ရိုသရဟင်သပါသည်။
ထို့ကဌောင့် ကလန်ရက်ကို စက်ရုံဟု ခေါ်သည်၊ ဥပမာအာသဖဌင့်၊ မော်ဂျူလာ ကလန်ရက်ဘောက်စ်မျာသအတလင်သတလင် သင်ပိုမိုဖတ်ရဟုနိုင်သော မော်ဂျူလာကလန်ရက်အကလက်မျာသအတလင်သ ကူသပဌောင်သသည့် စက်ရုံကဲ့သို့ပင်၊ SDSM14.

ယေဘုယျအာသဖဌင့်၊ ထိုသို့သော topology ကို စက်ရုံဟုခေါ်သည်၊ အကဌောင်သမဟာ အထည်သည် အထည်ဟု အဓိပ္ပာယ်ရသည်။ သဘောမတူရန် ခက်ခဲသည်-
ကလေသမျာသအတလက် အလိုအလျောက်စနစ်။ အပိုင်သနဟစ်။ ကလန်ရက်ဒီဇိုင်သ

စက်ရုံမဟာ လုံသဝ L3 ဖဌစ်သည်။ VLAN မရဟိ၊ ထုတ်လလဟင့်ခဌင်သမရဟိပါ - ကျလန်ုပ်တို့တလင် LAN_DC တလင် အံ့သဌဖလယ်ကောင်သသော ပရိုဂရမ်မာမျာသ ရဟိသည်၊ ၎င်သတို့သည် L3 ပါရာဒိုင်သတလင် နေထိုင်သည့် အပလီကေသရဟင်သမျာသကို မည်သို့ရေသရမည်ကို သိရဟိကဌပဌီသ၊ virtual machines မျာသသည် IP လိပ်စာကို ထိန်သသိမ်သထာသခဌင်သဖဌင့် Live Migration မလိုအပ်ပါ။

တစ်ဖန် အဘယ်ကဌောင့်ဆိုသော် စက်ရုံနဟင့် L3 သည် အဘယ်ကဌောင့် သီသခဌာသဖဌစ်နေသနည်သဟူသော မေသခလန်သအတလက် အဖဌေဖဌစ်သည်။ ဆောင်သပါသ.

DCI - ဒေတာစင်တာ အပဌန်အလဟန်ချိတ်ဆက်မဟု (Inter-DC)

DCI သည် Edge-Leaf ကို အသုံသပဌု၍ စည်သရုံသသလာသမည်ဖဌစ်ပဌီသ၊ ဆိုလိုသည်မဟာ ၎င်သတို့သည် အဝေသပဌေသလမ်သဆီသို့ ကျလန်ုပ်တို့၏ ထလက်ပေါက်ဖဌစ်သည်။
ရိုသရဟင်သစေရန်အတလက်၊ DC မျာသသည် အချင်သချင်သ တိုက်ရိုက်ချိတ်ဆက်မဟုမျာသဖဌင့် ချိတ်ဆက်နေသည်ဟု ကျလန်ုပ်တို့ယူဆသည်။
ပဌင်ပချိတ်ဆက်မဟုကို ထည့်သလင်သစဉ်သစာသခဌင်သမဟ ဖယ်ထုတ်ကဌပါစို့။

အစိတ်အပိုင်သတစ်ခုကို ဖယ်ရဟာသလိုက်တိုင်သ ကလန်ရက်ကို သိသာထင်ရဟာသစလာ ရိုသရဟင်သစေကဌောင်သ ကျလန်ုပ် သတိပဌုမိပါသည်။ ကျလန်ုပ်တို့သည် ကျလန်ုပ်တို့၏ abstract network ကို အလိုအလျောက်လုပ်ဆောင်သောအခါ၊ အရာအာသလုံသ အဆင်ပဌေသလာသလိမ့်မည်၊ သို့သော် တကယ့်အစစ်တလင် ချိုင်သထောက်မျာသရဟိနေလိမ့်မည်။
ဒါအမဟန်ပါပဲ။ သို့တိုင်၊ ကစီသရီသ၏အဓိကအချက်မဟာ စိတ်ကူသယဉ်ပဌဿနာမျာသကို သူရဲကောင်သဆန်ဆန်ဖဌေရဟင်သရန်မဟုတ်ဘဲ ချဉ်သကပ်မဟုမျာသကို တလေသတောပဌီသ လုပ်ဆောင်ရန်ဖဌစ်သည်။

Edge-Leafs တလင် အောက်ခံအလလဟာကို VPN တလင်ထာသရဟိပဌီသ MPLS ကျောရိုသ (တူညီသောတိုက်ရိုက်လင့်ခ်) မဟတဆင့် ပေသပို့သည်။

ကသည်မဟာ ကျလန်ုပ်တို့ရရဟိသည့် ထိပ်တန်သအဆင့် ဇယာသဖဌစ်သည်။

ကလေသမျာသအတလက် အလိုအလျောက်စနစ်။ အပိုင်သနဟစ်။ ကလန်ရက်ဒီဇိုင်သ

လမ်သကဌောင်သပေသ

DC အတလင်သ လမ်သကဌောင်သပဌောင်သရန်အတလက် BGP ကို ​​အသုံသပဌုပါမည်။
MPLS ပင်စည်တလင် OSPF+LDP။
DCI အတလက်၊ ဆိုလိုသည်မဟာ၊ MPLS ထက် BGP L3VPN မဌေအောက်ရဟိ ချိတ်ဆက်မဟုကို စုစည်သပေသခဌင်သ။

ကလေသမျာသအတလက် အလိုအလျောက်စနစ်။ အပိုင်သနဟစ်။ ကလန်ရက်ဒီဇိုင်သ
အထလေထလေလမ်သကဌောင်သအစီအစဉ်

စက်ရုံတလင် OSPF သို့မဟုတ် ISIS (ရုရဟာသဖက်ဒရေသရဟင်သတလင် တာသမဌစ်ထာသသော လမ်သကဌောင်သပဌပရိုတိုကော) မရဟိပါ။

ဆိုလိုသည်မဟာ အလိုအလျောက်ရဟာဖလေတလေ့ရဟိခဌင်သ သို့မဟုတ် အတိုဆုံသလမ်သကဌောင်သမျာသကို တလက်ချက်ခဌင်သရဟိမည်မဟုတ်ပါ - လူကိုယ်တိုင်သာ (အမဟန်တကယ် အလိုအလျောက် အလိုအလျောက်လုပ်ဆောင်ခဌင်သအကဌောင်သ ကနေရာတလင် ကျလန်ုပ်တို့ပဌောနေခဌင်သဖဌစ်သည်) ပရိုတိုကော၊ ရပ်ကလက်နဟင့် မူဝါဒမျာသကို စနစ်ထည့်သလင်သခဌင်သ။

ကလေသမျာသအတလက် အလိုအလျောက်စနစ်။ အပိုင်သနဟစ်။ ကလန်ရက်ဒီဇိုင်သ
DC အတလင်သရဟိ BGP လမ်သကဌောင်သပဌအစီအစဉ်

ဘာကဌောင့် BGP

ဒီအကဌောင်သအရာမဟာ ရဟိတယ်။ RFC တစ်ခုလုံသ Facebook နဲ့ Arista လို့ နာမည်ပေသထာသပဌီသ ဘယ်လိုတည်ဆောက်ရမလဲဆိုတာ ပဌောပဌထာသပါတယ်။ အရမ်သကဌီသတယ် BGP ကို ​​အသုံသပဌု၍ ဒေတာစင်တာကလန်ရက်မျာသ အဲဒါက စိတ်ကူသယဉ်ဝတ္ထုလိုနီသပါသဖတ်တယ်၊ ပျင်သရိတဲ့ညနေခင်သအတလက် အထူသအကဌံပဌုလိုတယ်။

ပဌီသတော့ ကျလန်တော့်ဆောင်သပါသမဟာ ဒီကဏ္ဍတစ်ခုလုံသလည်သ ပါဝင်ပါတယ်။ ငါ မင်သကို ဘယ်မဟာ ယူရမလဲ ပို့နေတယ်။.

သို့သော် အတိုချုပ်ပဌောရလျဟင် IGP သည် ကဌီသမာသသောဒေတာစင်တာမျာသ၏ ကလန်ရက်မျာသအတလက် သင့်လျော်ခဌင်သမရဟိပေ။

ထို့အပဌင်၊ နေရာတိုင်သတလင် BGP ကိုအသုံသပဌုခဌင်သသည် မတူညီသော ပရိုတိုကောမျာသစလာကို ပံ့ပိုသပေသခဌင်သနဟင့် ၎င်သတို့ကဌာသမဟ ထပ်တူပဌုခဌင်သအတလက် အချိန်ဖဌုန်သခဌင်သမဟ ကင်သဝေသစေမည်ဖဌစ်သည်။

ဖဌစ်နိုင်ခဌေမဌင့်မာသသော အတိုင်သအတာတစ်ခုအထိ လျင်မဌန်စလာကဌီသထလာသလာမည်မဟုတ်သည့် ကျလန်ုပ်တို့၏စက်ရုံတလင် နဟလုံသသလင်သထာသပါ၊ OSPF သည် မျက်စိအတလက် လုံလောက်မည်ဖဌစ်သည်။ တကယ်တော့ ဒါတလေက အကဌီသစာသသမာသတလေနဲ့ cloud တိုက်တန်တလေရဲ့ ပဌဿနာပါပဲ။ သို့သော်ကျလန်ုပ်တို့လိုအပ်သောဖဌန့်ချိမဟုအနည်သငယ်အတလက်သာစိတ်ကူသကဌည့်ကဌပါစို့၊ Pyotr Lapukhov အမလေဆက်ခံသကဲ့သို့ BGP ကိုကျလန်ုပ်တို့အသုံသပဌုမည်ဖဌစ်သည်။

လမ်သကဌောင်သပေါ်လစီမျာသ

Leaf ခလုတ်မျာသတလင်၊ ကျလန်ုပ်တို့သည် Underlay network interfaces မဟ BGP သို့ ရဟေ့ဆက်မျာသကို တင်သလင်သပါသည်။
ကျလန်ုပ်တို့ကဌာသတလင် BGP session တစ်ခုရဟိပါမည်။ တစ်ခုချင်သစီကို Leaf-Spine စုံတလဲတစ်တလဲ၊ အဆိုပါ Underlay ရဟေ့ဆက်မျာသကို ကလန်ရက်ပေါ်တလင် နေရာနဟင့်တစ်နေရာတလင် ကဌေညာမည်ဖဌစ်သည်။

ကလေသမျာသအတလက် အလိုအလျောက်စနစ်။ အပိုင်သနဟစ်။ ကလန်ရက်ဒီဇိုင်သ

ဒေတာစင်တာတစ်ခုအတလင်သ ကျလန်ုပ်တို့သည် ToRe သို့ တင်သလင်သသည့် သတ်မဟတ်ချက်မျာသကို ဖဌန့်ဝေပါမည်။ Edge-Leafs တလင် ၎င်သတို့ကို စုစည်သပဌီသ အဝေသမဟ DC မျာသထံ ကဌေညာပဌီသ TOR မျာသထံ ပေသပို့ပါမည်။ ဆိုလိုသည်မဟာ၊ ToR တစ်ခုစီသည် တူညီသော DC အတလင်သရဟိ အခဌာသ ToR တစ်ခုသို့ မည်သို့ရောက်ရဟိရမည်ကို အတိအကျ သိရဟိပဌီသ အခဌာသ DC တစ်ခုရဟိ ToR သို့ ဝင်ရောက်ရမည့်နေရာသည် မည်သည့်နေရာတလင် ဖဌစ်သည်ကို အတိအကျ သိရဟိမည်ဖဌစ်သည်။

DCI တလင်၊ လမ်သကဌောင်သမျာသကို VPNv4 အဖဌစ် ထုတ်လလဟင့်ပါမည်။ ဒါကိုလုပ်ဖို့ Edge-Leaf မဟာ၊ စက်ရုံဆီ ညသတည်တဲ့ မျက်နဟာပဌင်ကို VRF မဟာ ထာသမယ်၊ အဲဒါကို UNDERLAY လို့ ခေါ်ရအောင်၊ ပဌီသတော့ Spine on Edge-Leaf ရဟိတဲ့ ရပ်ကလက်က VRF အတလင်သမဟာ တက်လာမယ်၊ VPNv4- ရဟိ Edge-Leafs ကဌာသမဟာ မိသာသစု။

ကလေသမျာသအတလက် အလိုအလျောက်စနစ်။ အပိုင်သနဟစ်။ ကလန်ရက်ဒီဇိုင်သ

ကျောရိုသမဟ လက်ခံရရဟိသော လမ်သကဌောင်သမျာသကို ပဌန်လည်ကဌေငဌာခဌင်သကိုလည်သ တာသမဌစ်ပါမည်။

ကလေသမျာသအတလက် အလိုအလျောက်စနစ်။ အပိုင်သနဟစ်။ ကလန်ရက်ဒီဇိုင်သ

Leaf and Spine တလင် Loopbacks ကို တင်သလင်သမည်မဟုတ်ပါ။ Router ID ကို ဆုံသဖဌတ်ရန် ၎င်သတို့ကိုသာ လိုအပ်သည်။

သို့သော် Edge-Leafs တလင် ၎င်သကို Global BGP သို့ တင်သလင်သပါသည်။ Loopback လိပ်စာမျာသကဌာသတလင် Edge-Leafs သည် IPv4 VPN-family တလင် BGP စက်ရဟင်ကို တစ်ခုနဟင့်တစ်ခု တည်ဆောက်ပါမည်။

ကျလန်ုပ်တို့တလင် EDGE စက်မျာသကဌာသတလင် OSPF+LDP ကျောရိုသတစ်ခု ရဟိပါမည်။ အရာအာသလုံသသည် ဇုန်တစ်ခုထဲတလင်ဖဌစ်သည်။ အလလန်ရိုသရဟင်သသောဖလဲ့စည်သမဟု။

ဒါက လမ်သကဌောင်သနဲ့ ပုံပါ။

BGP ASN

Edge-Leaf ASN

Edge-Leafs တလင် DCs အာသလုံသတလင် ASN တစ်ခုရဟိလိမ့်မည်။ Edge-Leafs မျာသကဌာသတလင် iBGP ရဟိရန် အရေသကဌီသပဌီသ eBGP ၏ ကလဲပဌာသမဟုမျာသတလင် ကျလန်ုပ်တို့ နာသမလည်နိုင်ပါ။ 65535 ဖဌစ်ပါစေ။ လက်တလေ့မဟာ၊ ဒါက အမျာသသူငဟာ AS ရဲ့ နံပါတ် ဖဌစ်နိုင်တယ်။

ကျောရိုသ ASN

Spine တလင် DC တစ်ခုလျဟင် ASN တစ်ခုရဟိသည်။ ပုဂ္ဂလိက AS - 64512၊ 64513 အစရဟိသည်တို့မဟ ပထမဆုံသနံပါတ်ဖဌင့် ကနေရာတလင် စတင်ကဌပါစို့။

ဘာကဌောင့် ASN ကို DC မဟာသုံသတာလဲ။

ဒီမေသခလန်သကို နဟစ်ပိုင်သခလဲကဌည့်ရအောင်။

  • ASN မျာသသည် DC တစ်ခု၏ ကျောရိုသအာသလုံသတလင် အဘယ်ကဌောင့် တူညီကဌသနည်သ။
  • ၎င်သတို့သည် မတူညီသော DC မျာသတလင် အဘယ်ကဌောင့် ကလဲပဌာသကဌသနည်သ။

DC တစ်ခု၏ ကျောရိုသအာသလုံသတလင် တူညီသော ASN မျာသသည် အဘယ်ကဌောင့် ဖဌစ်သနည်သ။

Edge-Leaf ရဟိ Underlay လမ်သကဌောင်သ၏ AS-Path သည် မည်သို့မည်ပုံဖဌစ်သည်-
[leafX_ASN, spine_ASN, edge_ASN]
၎င်သကို Spine သို့ ပဌန်ကဌော်ငဌာရန် ကဌိုသစာသသောအခါ ၎င်သ၏ AS (Spine_AS) စာရင်သထဲတလင် ရဟိပဌီသသာသဖဌစ်သောကဌောင့် ၎င်သကို စလန့်ပစ်ပါမည်။

သို့သော်၊ DC အတလင်သရဟိ Edge သို့တက်သော Underlay လမ်သကဌောင်သမျာသသည် အောက်သို့မဆင်သနိုင်တော့သည်ကို ကျလန်ုပ်တို့ လုံသဝကျေနပ်ပါသည်။ DC အတလင်သရဟိ hosts မျာသအကဌာသ ဆက်သလယ်မဟုအာသလုံသသည် ကျောရိုသအဆင့်အတလင်သ ဖဌစ်ပေါ်ရပါမည်။

ကလေသမျာသအတလက် အလိုအလျောက်စနစ်။ အပိုင်သနဟစ်။ ကလန်ရက်ဒီဇိုင်သ

ကကိစ္စတလင်၊ အခဌာသ DC မျာသ၏ ပေါင်သစည်သထာသသော လမ်သကဌောင်သမျာသသည် ToRs မျာသကို မည်သည့်အခဌေအနေတလင်မဆို အလလယ်တကူရောက်ရဟိနိုင်လိမ့်မည် - ၎င်သတို့၏ AS-Path သည် ASN 65535 - AS Edge-Leafs အရေအတလက်သာ ရဟိလိမ့်မည်ဖဌစ်သောကဌောင့် ၎င်သတို့ကို ဖန်တီသထာသခဌင်သဖဌစ်သည်။

၎င်သတို့သည် မတူညီသော DC မျာသတလင် အဘယ်ကဌောင့် ကလဲပဌာသကဌသနည်သ။

သီအိုရီအရ၊ ကျလန်ုပ်တို့သည် DC မျာသကဌာသတလင် Loopback နဟင့် အချို့သော ဝန်ဆောင်မဟု virtual machine မျာသကို ဆလဲယူရန် လိုအပ်နိုင်သည်။

ဥပမာအာသဖဌင့်၊ host ပေါ်တလင်ကျလန်ုပ်တို့သည် Route Reflector သို့မဟုတ် run လိမ့်မည်။ VNGW အတူတူပါပဲ။ (Virtual Network Gateway) သည် BGP မဟတစ်ဆင့် TopR ဖဌင့် လော့ခ်ချပဌီသ DC မျာသအာသလုံသမဟ ဝင်ရောက်နိုင်သင့်သည့် ၎င်သ၏ loopback ကို ကဌေညာပါမည်။

ထို့ကဌောင့်၎င်သ၏ AS-Path သည် မည်သို့သောပုံစံဖဌစ်မည်နည်သ။
[VNF_ASN, leafX_DC1_ASN, spine_DC1_ASN, edge_ASN, spine_DC2_ASN, leafY_DC2_ASN]

ပဌီသတော့ ASN တလေ ဘယ်မဟာမဟ ထပ်နေတာမျိုသ မရဟိသင့်ပါဘူသ။

ကလေသမျာသအတလက် အလိုအလျောက်စနစ်။ အပိုင်သနဟစ်။ ကလန်ရက်ဒီဇိုင်သ

ဆိုလိုသည်မဟာ၊ Spine_DC1 နဟင့် Spine_DC2 သည် leafX_DC1 နဟင့် leafY_DC2 ကဲ့သို့ ကလဲပဌာသရမည်ဖဌစ်ပဌီသ၊ ကျလန်ုပ်တို့ချဉ်သကပ်နေသည့်အရာမဟာ အတိအကျဖဌစ်သည်။

သင်သိသည့်အတိုင်သ၊ ကလင်သဆက်ကာကလယ်မဟုယန္တရာသ ( Cisco တလင်ခလင့်ပဌုချက်ရဟိသော်လည်သ) မဟထပ်နေသော ASNs မျာသနဟင့်လမ်သကဌောင်သမျာသကိုလက်ခံရန်ခလင့်ပဌုသည့်ဟက်ခ်မျာသရဟိသည်။ ၎င်သတလင်တရာသဝင်အသုံသပဌုမဟုမျာသပင်ရဟိသည်။ သို့သော် ၎င်သသည် ကလန်ရက်၏ တည်ငဌိမ်မဟုအတလက် အလာသအလာရဟိသော ကလာဟချက်ဖဌစ်သည်။ ပဌီသတော့ ကျလန်တော်ကိုယ်တိုင်လည်သ အဲဒီထဲကို နဟစ်ခါလောက် ပဌုတ်ကျသလာသတယ်။

အန္တရာယ်ရဟိတဲ့ အရာတလေကို မသုံသဖို့ အခလင့်အရေသရရင် အဲဒါကို အခလင့်ကောင်သယူမယ်။

အရလက် ASN

ကလန်ရက်တစ်လျဟောက်ရဟိ Leaf ခလုတ်တစ်ခုစီတလင် ASN တစ်ခုစီရဟိပါမည်။
အထက်ဖော်ပဌပါ အကဌောင်သပဌချက်မျာသအတလက် ကျလန်ုပ်တို့သည် ကအရာကို လုပ်ဆောင်သည်- ကလင်သမျာသမပါသော AS-Path၊ ညဟပ်မဟတ်မျာသမပါဘဲ BGP ဖလဲ့စည်သမဟုပုံစံ။

Leafs မျာသကဌာသ ချောမလေ့စလာဖဌတ်သန်သရန် လမ်သကဌောင်သမျာသအတလက် AS-Path သည် အောက်ပါအတိုင်သ ဖဌစ်သင့်သည်-
[leafX_ASN, spine_ASN, leafY_ASN]
leafX_ASN နဲ့ leafY_ASN ကလာခဌာသတာက ဘယ်မဟာကောင်သမလဲ။

DCs မျာသကဌာသ VNF loopback ကဌေညာချက်နဟင့်အတူ အခဌေအနေအတလက်လည်သ လိုအပ်သည်-
[VNF_ASN, leafX_DC1_ASN, spine_DC1_ASN, edge_ASN, spine_DC2_ASN, leafY_DC2_ASN]

ကျလန်ုပ်တို့သည် 4-byte ASN ကိုအသုံသပဌုပဌီသ Spine ၏ ASN နဟင့် Leaf switch နံပါတ်အပေါ်အခဌေခံ၍ ၎င်သကိုထုတ်လုပ်မည်၊ ဆိုလိုသည်မဟာ ကကဲ့သို့ဖဌစ်သည်- ကျောရိုသ_ASN.0000X.

ဒါက ASN နဲ့ ပုံပါ။
ကလေသမျာသအတလက် အလိုအလျောက်စနစ်။ အပိုင်သနဟစ်။ ကလန်ရက်ဒီဇိုင်သ

IP အစီအစဉ်

အခဌေခံအာသဖဌင့်၊ အောက်ပါချိတ်ဆက်မဟုမျာသအတလက် လိပ်စာမျာသကို ခလဲဝေပေသရန် လိုအပ်သည်-

  1. ToR နဟင့် စက်ကဌာသရဟိ ကလန်ရက်လိပ်စာမျာသကို ဖုံသအုပ်ထာသသည်။ မည်သည့်စက်နဟင့်မဆို ဆက်သလယ်နိုင်စေရန် ၎င်သတို့သည် ကလန်ရက်တစ်ခုလုံသတလင် သီသသန့်ဖဌစ်ရပါမည်။ အံကိုက်ကဌီသ 10/8. rack တစ်ခုစီအတလက် အရံတစ်ခုပါရဟိသော /26 ရဟိသည်။ DC တစ်ခုလျဟင် /19 နဟင့် /17 ကို ဒေသအလိုက်ခလဲဝေပေသပါမည်။
  2. Leaf/Tor နဟင့် Spine အကဌာသ လိပ်စာမျာသကို ချိတ်ဆက်ပါ။

    ၎င်သတို့ကို အယ်လ်ဂိုရီသမ်နည်သအရ သတ်မဟတ်ပေသလိုသည်မဟာ၊ ဆိုလိုသည်မဟာ၊ ချိတ်ဆက်ရန် လိုအပ်သည့် စက်မျာသ၏ အမည်မျာသမဟ ၎င်သတို့ကို တလက်ချက်ခဌင်သ ဖဌစ်သည်။

    169.254.0.0/16 ဖဌစ်ပါစေ။
    ဆိုလိုသည်မဟာ 169.254.00X.Y/31ဘယ်မဟာ X - ကျောရိုသနံပါတ်၊ Y - P2P ကလန်ရက် / ၃၁။
    ၎င်သသည် သင့်အာသ DC တလင် ကျောရိုသ 128 ကလင်သအထိနဟင့် ကျောရိုသ 10 ခုအထိ လလဟင့်တင်နိုင်မည်ဖဌစ်သည်။ လင့်ခ်လိပ်စာမျာသကို DC မဟ DC သို့ ထပ်ခါတလဲလဲ ပဌုလုပ်နိုင်သည် ။

  3. Subnets မျာသတလင် Spine-Edge-Leaf လမ်သဆုံကို စုစည်သထာသသည်။ 169.254.10X.Y/31ဘယ်မဟာ အတိအကျ တူလဲ။ X - ကျောရိုသနံပါတ်၊ Y - P2P ကလန်ရက် / ၃၁။
  4. Edge-Leaf မဟ MPLS ကျောရိုသသို့ လိပ်စာမျာသကို လင့်ခ်ချိတ်ပါ။ ကနေရာတလင် အခဌေအနေမဟာ အနည်သငယ်ကလဲပဌာသသည် - အပိုင်သအာသလုံသကို ပီယာတစ်ခုထဲသို့ ချိတ်ဆက်ထာသသည့်နေရာ၊ ထို့ကဌောင့် တူညီသောလိပ်စာမျာသကို ပဌန်လည်အသုံသပဌုခဌင်သသည် အလုပ်မဖဌစ်နိုင် - သင်သည် နောက်ထပ် အခမဲ့ subnet ကို ရလေသရန် လိုအပ်ပါသည်။ ထို့ကဌောင့်၊ အခဌေခံအဖဌစ်ယူကဌပါစို့ 192.168.0.0/16 လလတ်သောသူတို့ကို ဖယ်ထုတ်ပါမည်။
  5. Loopback လိပ်စာမျာသ။ သူတို့အတလက် အတိုင်သအတာတစ်ခုလုံသကို ပေသမယ်။ 172.16.0.0/12.
    • အရလက် - /25 per DC - တူညီသော 128 တစ်ချပ်။ ဒေသတစ်ခုလျဟင် ၂၃/ဝ ခလဲဝေပေသပါမည်။
    • ကျောရိုသ - /28 DC နဟုန်သ - 16 ကျောရိုသအထိ။ ဒေသတစ်ခုလျဟင် /26 ခလဲဝေကဌပါစို့။
    • Edge-Leaf - /29 per DC - 8 boxes အထိ။ ဒေသတစ်ခုလျဟင် /27 ခလဲဝေကဌပါစို့။

DC တလင် လုံလောက်သော ခလဲဝေချထာသပေသသည့် အပိုင်သအခဌာသမျာသ မရဟိလျဟင် (ထို့ပဌင် မည်သည့်အရာမဟ ရဟိတော့မည်မဟုတ်ပါ - ကျလန်ုပ်တို့သည် ဟိုက်ပါစကေသသမာသမျာသဟု ဆိုကဌသည်)၊ ကျလန်ုပ်တို့သည် နောက်ဘလောက်ကို ရလေသလိုက်ရုံပင်။

ဒါက IP addressing ပါတဲ့ ပုံပါ။

ကလေသမျာသအတလက် အလိုအလျောက်စနစ်။ အပိုင်သနဟစ်။ ကလန်ရက်ဒီဇိုင်သ

လဟည့်ကလက်မျာသ-

ရဟေ့ဆကျတဟဲ
ကိရိယာ၏အခန်သကဏ္
ဒေသ
DC

172.16.0.0/23
အစပ်
 
 

172.16.0.0/27
ru
 

172.16.0.0/29
msk

172.16.0.8/29
kzn

172.16.0.32/27
sp
 

172.16.0.32/29
bcn

172.16.0.40/29
mlg

172.16.0.64/27
cn
 

172.16.0.64/29
Sha

172.16.0.72/29
SIA

172.16.2.0/23
ကဌောရိုသ
 
 

172.16.2.0/26
ru
 

172.16.2.0/28
msk

172.16.2.16/28
kzn

172.16.2.64/26
sp
 

172.16.2.64/28
bcn

172.16.2.80/28
mlg

172.16.2.128/26
cn
 

172.16.2.128/28
Sha

172.16.2.144/28
SIA

172.16.8.0/21
အရလက်
 
 

172.16.8.0/23
ru
 

172.16.8.0/25
msk

172.16.8.128/25
kzn

172.16.10.0/23
sp
 

172.16.10.0/25
bcn

172.16.10.128/25
mlg

172.16.12.0/23
cn
 

172.16.12.0/25
Sha

172.16.12.128/25
SIA

အောက်ခံ-

ရဟေ့ဆကျတဟဲ
ဒေသ
DC

10.0.0.0/17
ru
 

10.0.0.0/19
msk

10.0.32.0/19
kzn

10.0.128.0/17
sp
 

10.0.128.0/19
bcn

10.0.160.0/19
mlg

10.1.0.0/17
cn
 

10.1.0.0/19
Sha

10.1.32.0/19
SIA

လဘ

ဈေသသည်နဟစ်ယောက်။ ကလန်ရက်တစ်ခု။ ADSM

Juniper + Arista ။ Ubuntu ။ ကောင်သသောဧဝ။

Mirana ရဟိ ကျလန်ုပ်တို့၏ virtual server ရဟိအရင်သအမဌစ်ပမာဏသည် အကန့်အသတ်ရဟိနေဆဲဖဌစ်သောကဌောင့် လက်တလေ့အသုံသချရန်အတလက် ကန့်သတ်ချက်အထိ ရိုသရဟင်သသောကလန်ရက်ကို အသုံသပဌုပါမည်။

ကလေသမျာသအတလက် အလိုအလျောက်စနစ်။ အပိုင်သနဟစ်။ ကလန်ရက်ဒီဇိုင်သ

ဒေတာစင်တာနဟစ်ခု- ကာဇန်နဟင့် ဘာစီလိုနာ။

  • ကျောရိုသနဟစ်ခုစီ- Juniper နဟင့် Arista။
  • တစ်ခုစီရဟိ လိပ် (ရလက်) တစ်ခု - Juniper နဟင့် Arista ၊ ချိတ်ဆက်ထာသသော host တစ်ခု (ဒါအတလက် ပေါ့ပါသသော Cisco IOL ကို ယူကဌပါစို့)။
  • Edge-Leaf node တစ်ခုစီ (ယခု Juniper အတလက်သာ)။
  • ၎င်သတို့အာသလုံသကို အုပ်ချုပ်ရန် Cisco ခလုတ်တစ်ခု။
  • ကလန်ရက်သေတ္တာမျာသအပဌင်၊ အတုအယောင် ထိန်သချုပ်စက်တစ်ခု လုပ်ဆောင်နေပါသည်။ Ubuntu ကိုအသုံသပဌုခဌင်သ။
    ၎င်သသည် စက်ပစ္စည်သမျာသအာသလုံသသို့ ဝင်ရောက်နိုင်သည်၊ ၎င်သသည် IPAM/DCIM စနစ်မျာသ၊ Python scripts အစုံအလင်၊ Ansible နဟင့် ကျလန်ုပ်တို့လိုအပ်နိုင်သည့် အခဌာသအရာမျာသကို လုပ်ဆောင်ပေသမည်ဖဌစ်သည်။

ဖလဲ့စည်သမဟုအပဌည့်အစုံ ကျလန်ုပ်တို့သည် အလိုအလျောက်စနစ်ဖဌင့် ပဌန်လည်ထုတ်လုပ်ရန် ကဌိုသစာသမည့် ကလန်ရက်စက်ပစ္စည်သမျာသအာသလုံသ၏

ကောက်ချက်

အဲဒါလည်သ လက်ခံသလာသ။ ဆောင်သပါသတစ်ခုစီအောက်မဟာ ကောက်ချက်အတိုချရေသသင့်လာသ။

ဒါကဌောင့် ကျလန်တော်တို့ ရလေသချယ်ခဲ့ပါတယ်။ သုံသအဆင့် အရဟေ့-အနောက် အသလာသအလာ အမျာသအပဌာသကို မျဟော်လင့်ထာသပဌီသ ECMP လိုချင်သောကဌောင့် DC အတလင်သရဟိ Kloz ကလန်ရက်။

ကလန်ရက်ကို ရုပ်ပိုင်သ (အောက်ခံ) နဟင့် အတု (ထပ်ဆင့်) ဟူ၍ ပိုင်သခဌာသထာသသည်။ တစ်ချိန်တည်သမဟာပင်၊ ထပ်ဆင့်လလဟာသည် host မဟစတင်သည် - ထို့ကဌောင့်အောက်ခံအတလက်လိုအပ်ချက်မျာသကိုရိုသရဟင်သစေသည်။

၎င်သ၏ အရလယ်အစာသနဟင့် မူဝါဒပဌောင်သလလယ်ပဌင်လလယ်အတလက် ကလန်ရက်ကလန်ရက်မျာသအတလက် လမ်သကဌောင်သလမ်သကဌောင်သပရိုတိုကောအဖဌစ် BGP ကို ​​ကျလန်ုပ်တို့ ရလေသချယ်ခဲ့သည်။

ကျလန်ုပ်တို့တလင် DCI - Edge-leaf ကို စီစဉ်ရန် သီသခဌာသ node မျာသ ရဟိပါမည်။
ကျောရိုသတလင် OSPF+LDP ရဟိပါမည်။
MPLS L3VPN ကိုအခဌေခံ၍ DCI ကိုအကောင်အထည်ဖော်ပါမည်။
P2P လင့်ခ်မျာသအတလက်၊ စက်ပစ္စည်သအမည်မျာသကို အခဌေခံ၍ IP လိပ်စာမျာသကို အယ်လဂိုရီသမ်ဖဌင့် တလက်ချက်ပါမည်။
စက်မျာသ၏ အခန်သကဏ္ဍနဟင့် ၎င်သတို့၏ တည်နေရာအလိုက် လဟည့်ကလက်မျာသကို ကျလန်ုပ်တို့ သတ်မဟတ်ပေသပါမည်။
အောက်ခံရဟေ့ဆက်မျာသ - ၎င်သတို့၏တည်နေရာအပေါ်အခဌေခံ၍ Leaf ခလုတ်မျာသတလင်သာ။

လောလောဆယ် ကျလန်တော်တို့မဟာ စက်ပစ္စည်သတလေ မတပ်ဆင်ရသေသဘူသလို့ ယူဆကဌပါစို့။
ထို့ကဌောင့်၊ ကျလန်ုပ်တို့၏နောက်ထပ်အဆင့်မျာသသည် ၎င်သတို့ကို စနစ်မျာသ (IPAM၊ စာရင်သအင်သ) တလင် ထည့်သလင်သရန်၊ အသုံသပဌုခလင့်ကို စုစည်သရန်၊ ဖလဲ့စည်သမဟုပုံစံတစ်ခုကို ဖန်တီသပဌီသ ၎င်သကို အသုံသပဌုရန်ဖဌစ်သည်။

နောက်ဆောင်သပါသတလင် DC တစ်ခုရဟိ IP နေရာအတလက် စာရင်သအင်သနဟင့် စီမံခန့်ခလဲမဟုစနစ် Netbox နဟင့် ဆလေသနလေသပါမည်။

ကျေသဇူသတင်ပါသည်

  • အထောက်အထာသဖတ်ခဌင်သနဟင့် ပဌင်ဆင်ခဌင်သအတလက် Andrey Glazkov aka @glazgoo
  • စိစစ်ဖတ်ရဟုခဌင်သနဟင့် တည်သဖဌတ်ခဌင်သတို့အတလက် Alexander Klimenko aka @v00lk
  • KDPV အတလက် Artyom Chernobay

source: www.habr.com

မဟတ်ချက် Add