Bitta kalitning hikoyasi

Mahalliy tarmoq agregatimizda olti juft Arista DCS-7050CX3-32S kalitlari va bir juft Brocade VDX 6940-36Q kalitlari bor edi. Bu tarmoqdagi Brocade kalitlari bizni haddan tashqari zo'riqtirgani emas, ular ishlaydi va o'z funktsiyalarini bajaradi, lekin biz ba'zi harakatlarni to'liq avtomatlashtirishni tayyorlayotgan edik va bizda bu kalitlarda bunday imkoniyatlar yo'q edi. Shuningdek, men keyingi 40-100 yil davomida zaxira qilish uchun 2GE interfeyslaridan 3GE-dan foydalanish imkoniyatiga o'tmoqchi edim. Shunday qilib, biz Brocade-ni Arista-ga o'zgartirishga qaror qildik.

Ushbu kalitlar har bir ma'lumot markazi uchun LAN yig'ish kalitlari. Tarqatish kalitlari (agregatsiyaning ikkinchi darajasi) ularga to'g'ridan-to'g'ri ulangan bo'lib, ular allaqachon Top-of-Rack mahalliy tarmoq kalitlarini serverlar bilan raflarda yig'adilar.

Har bir server bir yoki ikkita kirish kalitiga ulangan. Kirish kalitlari bir juft tarqatish kalitlariga ulangan (ikkita tarqatish kaliti va kirish kalitidan turli tarqatish kalitlariga ikkita jismoniy ulanish ortiqcha uchun ishlatiladi).

Har bir serverdan o'z mijozi foydalanishi mumkin, shuning uchun mijozga alohida VLAN ajratiladi. Xuddi shu VLAN keyinchalik ushbu mijozning boshqa serverida istalgan rafda ro'yxatga olinadi. Ma'lumotlar markazi bir nechta shunday qatorlardan (PODlar) iborat bo'lib, har bir qatorda o'z tarqatish kalitlari mavjud. Keyin bu tarqatish kalitlari yig'ish kalitlariga ulanadi.

Mijozlar istalgan qatorda serverga buyurtma berishlari mumkin; server ma'lum bir rafda ma'lum bir qatorga ajratilishi yoki o'rnatilishini oldindan taxmin qilish mumkin emas, shuning uchun har bir ma'lumot markazida yig'ish kalitlarida 2500 ga yaqin VLAN mavjud.

DCI (Data-Center Interconnect) uchun uskunalar yig'ish kalitlariga ulangan. U L2 ulanishi (boshqa ma'lumotlar markaziga VXLAN tunnelini tashkil etuvchi bir juft kalit) yoki L3 ulanishi (ikkita MPLS router) uchun mo'ljallangan bo'lishi mumkin.

Men allaqachon yozganimdek, bitta ma'lumot markazida uskunalar bo'yicha xizmatlar konfiguratsiyasini avtomatlashtirish jarayonlarini birlashtirish uchun markaziy yig'ish kalitlarini almashtirish kerak edi. Biz mavjud kalitlarning yoniga yangi kalitlarni o'rnatdik, ularni MLAG juftligiga birlashtirdik va ishga tayyorgarlik ko'rishni boshladik. Ular zudlik bilan mavjud yig'ish kalitlariga ulandi, shuning uchun ular barcha mijoz VLAN-larida umumiy L2 domeniga ega bo'lishdi.

O'chirish tafsilotlari

Aniq ma'lumot uchun, keling, eski yig'ish kalitlarini nomlaylik А1 и А2, yangi - N1 и N2. Keling, buni ichida tasavvur qilaylik POD 1 и POD 4 bitta mijozning serverlari joylashtirilgan С1,Mijoz VLAN ko'k rangda ko'rsatilgan. Ushbu mijoz L2 ulanish xizmatidan boshqa ma'lumotlar markazi bilan foydalanmoqda, shuning uchun uning VLAN tarmog'i bir juft VXLAN kalitiga beriladi.

Xaridor С2 serverlarni joylashtiradi POD 2 и POD 3,Mijoz VLAN toʻq yashil rangda belgilangan. Bu mijoz boshqa ma'lumotlar markazi bilan ulanish xizmatidan ham foydalanadi, lekin L3, shuning uchun uning VLAN L3VPN marshrutizatorlari juftligi bilan ta'minlanadi.

O'zgartirish ishining qaysi bosqichlarida nima sodir bo'lishini, aloqa uzilishi qayerda sodir bo'lishini va uning davomiyligi qanday bo'lishi mumkinligini tushunish uchun bizga mijozning VLAN-lari kerak. Ushbu sxemada STP protokoli ishlatilmaydi, chunki bu holda uning uchun daraxtning kengligi katta va protokolning yaqinlashuvi qurilmalar soni va ular orasidagi bog'lanishlar bilan eksponent ravishda o'sib boradi.

Ikki tomonlama havolalar orqali ulangan barcha qurilmalar stack, MLAG juftligi yoki VCS Ethernet matoni hosil qiladi. L3VPN marshrutizatorlari juftligi uchun bunday texnologiyalar qo'llanilmaydi, chunki L2 zaxirasiga ehtiyoj yo'q, ular bir-biriga ulash kalitlari orqali L2 ulanishiga ega bo'lishlari kifoya.

Amalga oshirish imkoniyatlari

Keyingi tadbirlar uchun variantlarni tahlil qilganda, biz ushbu ishni bajarishning bir necha yo'li borligini tushundik. Butun mahalliy tarmoqdagi global tanaffusdan tarmoqning ayrim qismlarida tom ma'noda 1-2 soniyalik kichik tanaffuslargacha.

Tarmoq, to'xtang! Kalitlar, ularni almashtiring!

Eng oson yo'li, albatta, barcha POD va barcha DCI xizmatlarida global aloqa uzilishini e'lon qilish va kalitlardan barcha havolalarni almashtirishdir. А kalitlarga N.

Vaqtni ishonchli tarzda bashorat qila olmaydigan uzilishdan tashqari (ha, biz havolalar sonini bilamiz, lekin biz necha marta nimadir noto'g'ri bo'lishini bilmaymiz - singan yamoq simi yoki shikastlangan ulagichdan noto'g'ri port yoki qabul qiluvchiga qadar. ), biz hali ham eski A kalitlariga ulangan yamoq simlarining uzunligi, DAC, AOC, ularni yangi N kalitlariga etkazish uchun etarli bo'ladimi yoki yo'qligini oldindan taxmin qila olmaymiz, garchi ularning yonida turgan bo'lsa-da, lekin hali ham bir oz tomoni, va bir xil qabul qiluvchilar ishlaydimi /DAC/AOC Brocade kalitlaridan Arista kalitlariga.

Va bularning barchasi mijozlarning qattiq bosimi va texnik yordam sharoitida ("Natasha, tur! Natasha, u erda hamma narsa ishlamaydi! Natasha, biz allaqachon texnik yordamga yozganmiz, halol! Natasha, ular allaqachon hamma narsani tashlab yuborishgan. ! Natasha, bizda yana qancha ishlamayapti? Natasha, qachon ishlaydi?!"). Oldindan e'lon qilingan tanaffus va mijozlarni xabardor qilishiga qaramay, bunday vaqtda so'rovlar oqimi kafolatlanadi.

To'xtang, 1-2-3-4!

Agar biz global tanaffusni e'lon qilmasak, balki POD va DCI xizmatlari uchun bir qator kichik aloqa uzilishlarini e'lon qilsak nima bo'ladi. Birinchi tanaffus paytida kalitlarga o'ting N faqatgina POD 1, ikkinchisida - bir necha kun ichida - POD 2, keyin yana bir necha kun POD 3, keyin POD 4…[N], keyin VXLAN kalitlari va keyin L3VPN routerlari.

Kommutatsiya ishlarini bunday tashkil qilish bilan biz bir martalik ishning murakkabligini kamaytiramiz va agar biror narsa to'satdan noto'g'ri bo'lsa, muammolarni hal qilish uchun vaqtimizni ko'paytiramiz. POD 1 almashtirilgandan keyin boshqa POD va DCI larga ulangan qoladi. Ammo ishning o'zi uzoq vaqt davom etadi, ma'lumotlar markazida ushbu ish paytida muhandis kommutatsiyani jismoniy bajarishi kerak va ish paytida (va bunday ish, qoida tariqasida, kechasi, 2 soatdan boshlab amalga oshiriladi) ertalab soat 5 ga qadar), yuqori malakali onlayn tarmoq muhandisining mavjudligi talab qilinadi. Ammo keyin biz qisqa aloqa uzilishlarini olamiz, qoida tariqasida, ish yarim soat ichida 2 daqiqagacha tanaffus bilan amalga oshirilishi mumkin (amalda, ko'pincha uskunaning kutilgan harakati bilan 20-30 soniya).

Mijoz misolida С1 yoki mijoz С2 kamida uch marta aloqa uzilishi bilan ishlash haqida ogohlantirishingiz kerak bo'ladi - birinchi marta uning serverlaridan biri joylashgan bitta PODda ishni bajarish uchun, ikkinchi marta - ikkinchi va uchinchi marta - qachon. DCI xizmatlari uchun kommutatsiya uskunalari.

Agregatlangan aloqa kanallarini almashtirish

Nima uchun biz uskunaning kutilayotgan xatti-harakati haqida gapiramiz va aloqa uzilishini minimallashtirishda birlashtirilgan kanallarni qanday almashtirish mumkin? Keling, quyidagi rasmni tasavvur qilaylik:

Bog'lanishning bir tomonida POD tarqatish kalitlari mavjud - D1 и D2, ular bir-biri bilan MLAG juftligini hosil qiladi (stek, VCS zavodi, vPC juftligi), boshqa tomondan ikkita havola mavjud - 1 bog'lansin и 2 bog'lansin - eski yig'ish kalitlarining MLAG juftligiga kiritilgan А. Kommutator tomonida D nomi bilan jamlangan interfeys Port kanali A, yig'ish kalitlari tomonida А - nom bilan jamlangan interfeys Port kanali D.

Yig'ilgan interfeyslar o'z ishlarida LACP dan foydalanadi, ya'ni har ikki tomondagi kalitlar havolalar mavjudligiga ishonch hosil qilish uchun har ikkala havolada LACPDU paketlarini muntazam ravishda almashadilar:

• ishchilar;
• masofaviy tomondan bir juft qurilmalarga kiritilgan.

Paketlarni almashtirishda paket qiymatni o'z ichiga oladi tizim identifikatori, ushbu havolalar kiritilgan qurilmani ko'rsatadi. MLAG juftligi (stek, zavod va boshqalar) uchun yig'ilgan interfeysni tashkil etuvchi qurilmalar uchun tizim identifikatori qiymati bir xil bo'ladi. Oʻzgartirish D1 ga yuboradi 1 bog'lansin ma'no tizim identifikatori D, va almashtiring D2 ga yuboradi 2 bog'lansin ma'no tizim identifikatori D.

Kalitlar А1 и А2 bitta Po D interfeysi orqali olingan LACPDU paketlarini tahlil qiling va ulardagi tizim identifikatori mos kelishini tekshiring. Agar biron bir havola orqali olingan tizim identifikatori birdan farq qilsa joriy ish qiymatidan, keyin vaziyat tuzatilmaguncha bu havola jamlangan interfeysdan olib tashlanadi. Endi bizning kalit tomonda D LACP hamkoridan joriy tizim identifikatori qiymati - A, va kalit tomonida А — LACP hamkoridan joriy tizim identifikatori qiymati — D.

Agar biz yig'ilgan interfeysni almashtirishimiz kerak bo'lsa, biz buni ikki xil usulda qilishimiz mumkin:

1-usul - oddiy
A kalitlaridan ikkala havolani ham o'chiring. Bunday holda, yig'ilgan kanal ishlamaydi.

Ikkala havolani birma-bir kalitlarga ulang N, keyin LACP operatsion parametrlari yana muhokama qilinadi va interfeys shakllanadi PoD kalitlarda N va havolalarda qiymatlarni uzatish tizim identifikatori N.

2-usul - uzilishni minimallashtirish
2-bog'lanishni A2 kalitidan ajratib oling. Shu bilan birga, o'rtasidagi transport А и D yig'ilgan interfeysning bir qismi bo'lib qoladigan havolalardan biri orqali oddiygina uzatilishi davom etadi.

N2 o'tish uchun havola 2 ni ulang. Kommutatorda N jamlangan interfeys allaqachon sozlangan Po DN, va almashtiring N2 LACPDU ga uzatishni boshlaydi tizim identifikatori N. Ushbu bosqichda biz allaqachon kalitni tekshirishimiz mumkin N2 uchun ishlatiladigan qabul qiluvchi bilan to'g'ri ishlaydi 2 bog'lansin, ulanish porti holatiga kirganligi Up, va LACPDUlarni uzatishda ulanish portida hech qanday xatolik yuz bermasligi.

Lekin o'tish haqiqatdir D2 jamlangan interfeys uchun Po A tomonidan Havola 2 joriy operatsion tizim identifikatori A qiymatidan farqli tizim identifikatori N qiymatini oladi, kalitlarga ruxsat bermaydi D tanishtirmoq 2 bog'lansin jamlangan interfeysning bir qismi Po A. Oʻzgartirish N kira olmaydi 2 bog'lansin ishga tushirildi, chunki u kommutatorning LACP sherigidan ishlashga yaroqlilik tasdiqini olmaydi D2. Olingan trafik 2 bog'lansin o'tmaydi.

Va endi biz A1 kalitidan 1-bog'lanishni o'chirib qo'yamiz, shu bilan kalitlardan mahrum А и D ishlaydigan agregat interfeysi. Shunday qilib, kalit tomonida D interfeys uchun joriy ishchi tizim identifikatori qiymati yo'qoladi Po A.

Bu kalitlarga ruxsat beradi D и N tizim identifikatorini almashishga rozilik bildiring AN interfeyslarda Po A и Po DN, shuning uchun trafik havola bo'ylab uzatila boshlaydi 2 bog'lansin. Bu holatda tanaffus amalda 2 soniyagacha bo'ladi.

Va endi biz osonlik bilan 1 havolasini N1 ga almashtirishimiz mumkin, interfeysning ortiqcha imkoniyatlarini va darajasini tiklash Po A и Po DN. Ushbu havola ulanganda, joriy tizim identifikatori qiymati har ikki tomonda ham o'zgarmaydi, hech qanday uzilish bo'lmaydi.

Qo'shimcha havolalar

Lekin o'tishni almashtirish vaqtida muhandis ishtirokisiz amalga oshirilishi mumkin. Buning uchun tarqatish kalitlari o'rtasida oldindan qo'shimcha aloqalarni o'rnatishimiz kerak bo'ladi D va yangi yig'ish kalitlari N.

Biz yig'ish kalitlari o'rtasida yangi aloqalarni o'rnatmoqdamiz N va barcha PODlar uchun tarqatish kalitlari. Buning uchun qo'shimcha yamoq simlarini buyurtma qilish va yotqizish va avvalgidek qo'shimcha qabul qiluvchilarni o'rnatish kerak bo'ladi N, va D. Biz buni qila olamiz, chunki bizning kalitlarimizda D Har bir POD bepul portlarga ega (yoki biz ularni oldindan bo'shatamiz). Natijada, har bir POD eski A kalitlariga va yangi N kalitlariga ikkita havola orqali jismoniy ravishda ulanadi.

Kommutatorda D ikkita jamlangan interfeys shakllantirildi - Po A havolalar bilan 1 bog'lansin и 2 bog'lansinva Po N - havolalar bilan N1 havola и N2 havola. Ushbu bosqichda biz interfeyslar va havolalarning to'g'ri ulanishini, havolalarning ikkala uchidagi optik signallar darajasini (kalitlardan DDM ma'lumotlari orqali) tekshiramiz, biz hatto yuk ostidagi havolaning ishlashini tekshirishimiz yoki ularning holatini kuzatishimiz mumkin. bir necha kun davomida optik signallar va qabul qiluvchining harorati.

Trafik hali ham interfeys orqali yuboriladi Po A, va interfeys Po N transport xarajatlari yo'q. Interfeyslardagi sozlamalar quyidagicha:

Interface Port-channel A
Switchport mode trunk
Switchport allowed vlan C1, C2

Interface Port-channel N
Switchport mode trunk
Switchport allowed vlan none

D kommutatorlari, qoida tariqasida, seansning qayta konfiguratsiyasini qo'llab-quvvatlaydi; bu funksiyaga ega bo'lgan kalit modellari ishlatiladi. Shunday qilib, biz Po A va Po N interfeyslarining sozlamalarini bir qadamda o'zgartirishimiz mumkin:

Configure session
Interface Port-channel A
Switchport allowed vlan none
Interface Port-channel N
Switchport allowed vlan C1, C2
Commit

Keyin konfiguratsiya o'zgarishi etarlicha tez sodir bo'ladi va tanaffus amalda 5 soniyadan oshmaydi.

Bu usul bizga barcha tayyorgarlik ishlarini oldindan bajarishga, barcha kerakli tekshiruvlarni o'tkazishga, jarayon ishtirokchilari bilan ishni muvofiqlashtirishga, "hamma narsa noto'g'ri bo'lganida" ijodkorlik parvozlarisiz ishlarni ishlab chiqarish bo'yicha harakatlarni batafsil bashorat qilish imkonini beradi. ,” va oldingi konfiguratsiyaga qaytish rejasi mavjud. Ushbu reja bo'yicha ish tarmoq muhandisi tomonidan kommutatsiyani jismoniy ravishda amalga oshiradigan ma'lumotlar markazi muhandisi ishtirokisiz amalga oshiriladi.

Ushbu almashtirish usuli bilan muhim narsa shundaki, barcha yangi havolalar allaqachon oldindan nazorat qilinadi. Xatolar, birlikka havolalarni kiritish, havolalarni yuklash - barcha kerakli ma'lumotlar allaqachon monitoring tizimida va bu allaqachon xaritalarda chizilgan.

D-kuni

PODKASTLAR

Biz mijozlar uchun eng kam og'riqli kommutatsiya yo'lini va qo'shimcha havolalar bilan "nimadir noto'g'ri ketdi" stsenariylariga eng kam moyilligini tanladik. Shunday qilib, biz bir necha kechada barcha PODlarni yangi yig'ish kalitlariga o'tkazdik.

Ammo DCI xizmatlarini taqdim etadigan uskunani almashtirish qoladi.

L2

L2 ulanishini ta'minlaydigan uskunada biz qo'shimcha havolalar bilan shunga o'xshash ishlarni bajara olmadik. Buning kamida ikkita sababi bor:

• VXLAN kalitlarida kerakli tezlikdagi bepul portlarning yo'qligi.
• VXLAN kalitlarida seans konfiguratsiyasini o'zgartirish funksiyasining yo'qligi.

Biz havolalarni "birma-bir" tanaffus bilan almashtirmadik, faqat yangi tizim identifikatori juftligini kelishib oldik, chunki protsedura to'g'ri o'tishiga 100% ishonchimiz yo'q edi va laboratoriyadagi sinov shuni ko'rsatdiki, Agar "nimadir noto'g'ri ketsa", biz hali ham ulanishni uzib qo'yamiz va eng yomoni nafaqat boshqa ma'lumotlar markazlari bilan L2 ulanishiga ega bo'lgan mijozlar uchun, balki umuman ushbu ma'lumotlar markazining barcha mijozlari uchun.

Biz L2 kanallaridan o'tish bo'yicha targ'ibot-tashviqot ishlarini muddatidan oldin amalga oshirdik, shuning uchun VXLAN kommutatorlaridagi ishlardan zarar ko'rgan mijozlar soni bir yil oldingiga qaraganda bir necha baravar kam edi. Natijada, bitta ma'lumot markazida mahalliy tarmoq xizmatlarining normal ishlashini ta'minlash sharti bilan L2 ulanish xizmati orqali aloqani to'xtatishga qaror qildik. Bundan tashqari, ushbu xizmat uchun SLA rejalashtirilgan ishlarni uzilishlar bilan bajarish imkoniyatini nazarda tutadi.

L3

Nima uchun biz DCI xizmatlarini tashkil qilishda hammaga L3VPN ga o'tishni tavsiya qildik? Buning sabablaridan biri - bu xizmatni taqdim etuvchi marshrutizatorlardan birida aloqani to'xtatmasdan, ortiqcha darajasini N+0 ga qisqartirish orqali ishni bajarish imkoniyati.

Keling, xizmatlarni taqdim etish sxemasini batafsil ko'rib chiqaylik. Ushbu xizmatda L2 segmenti faqat mijoz serverlaridan L3VPN Selectel routerlariga o'tadi. Mijoz tarmog'i routerlarda tugatilgan.

Har bir mijoz serveri, masalan. S2 и S3 yuqoridagi diagrammada o'zlarining shaxsiy IP manzillariga ega - S10.0.0.2 serverida 24/2 и S10.0.0.3 serverida 24/3. Manzillar 10.0.0.252/24 и 10.0.0.253/24 Selectel tomonidan marshrutizatorlarga tayinlangan L3VPN-1 и L3VPN-2, mos ravishda. IP manzili 10.0.0.254/24 VRRP VIP manzilidir Selectel routerlarda.

L3VPN xizmati haqida ko'proq bilib olishingiz mumkin o'qing bizning blogimizda.

Kalitdan oldin hamma narsa diagrammadagi kabi ko'rinardi:

Ikki marshrutizator L3VPN-1 и L3VPN-2 eski yig'ish kalitiga ulangan А. VRRP VIP manzili 10.0.0.254 uchun master router hisoblanadi L3VPN-1. Bu manzil uchun marshrutizatorga qaraganda yuqoriroq ustuvorlikka ega L3VPN-2.

unit 1006 {
    description C2;
    vlan-id 1006;
    family inet {       
        address 10.0.0.252/24 {
            vrrp-group 1 {
                priority 200;
                virtual-address 10.100.0.254;
                preempt {
                    hold-time 120;
                }
                accept-data;
            }
        }
    }
}

S2 serveri boshqa joylardagi serverlar bilan aloqa qilish uchun 10.0.0.254 shlyuzidan foydalanadi. Shunday qilib, L3VPN-2 routerini tarmoqdan uzib qo'yish (albatta, agar u birinchi marta MPLS domenidan uzilgan bo'lsa) mijoz serverlarining ulanishiga ta'sir qilmaydi. Ushbu nuqtada, kontaktlarning zanglashiga olib keladigan ortiqcha darajasi oddiygina kamayadi.

Shundan so'ng biz routerni xavfsiz tarzda qayta ulashimiz mumkin L3VPN-2 bir juft kalitga N. Ulanishlarni joylashtiring, qabul qiluvchilarni o'zgartiring. Mijoz xizmatlarining ishlashi bog'liq bo'lgan marshrutizatorning mantiqiy interfeyslari hamma narsa kerakli darajada ishlayotganligi tasdiqlanmaguncha o'chiriladi.

Ulanishlarni, qabul qiluvchilarni, signal darajalarini va interfeyslardagi xato darajalarini tekshirgandan so'ng, yo'riqnoma ishga tushiriladi, lekin allaqachon yangi kalit juftligiga ulangan.

Keyinchalik, biz L3VPN-1 routerining VRRP ustuvorligini pasaytiramiz va 10.0.0.254 VIP manzili L3VPN-2 routerga o'tkaziladi. Bu ishlar ham aloqa uzilmagan holda amalga oshirilmoqda.

10.0.0.254 VIP manzilini marshrutizatorga o'tkazish L3VPN-2 routerni o'chirishga imkon beradi L3VPN-1 mijoz uchun aloqani to'xtatmasdan va uni yangi birlashtiruvchi kalitlarga ulash N.

VRRP VIP-ni L3VPN-1 routeriga qaytarish yoki bermaslik boshqa savol va u qaytarilsa ham, ulanishni to'xtatmasdan amalga oshiriladi.

jami

Ushbu qadamlarning barchasidan so'ng, biz mijozlarimiz uchun buzilishlarni minimallashtirgan holda, ma'lumotlar markazlarimizdan biridagi yig'ish kalitlarini almashtirdik.

Faqat demontaj qilish qoladi. Eski kalitlarni demontaj qilish, A va D kommutatorlari orasidagi eski aloqalarni demontaj qilish, ushbu bo'g'inlardan qabul qiluvchilarni demontaj qilish, monitoringni tuzatish, hujjatlashtirish va monitoringda tarmoq diagrammalarini tuzatish.

Boshqa loyihalarda yoki boshqa shunga o'xshash kommutatsiya uchun biz kalitlarni, transmitterlarni, yamoq simlarini, AOC, DAC dan foydalanishimiz mumkin.

"Natasha, biz hamma narsani almashtirdik!"

Manba: www.habr.com