Crita siji ngalih

Ing panggabungan jaringan lokal kita duwe enem pasang saklar Arista DCS-7050CX3-32S lan sapasang saklar Brocade VDX 6940-36Q. Iku ora kita padha kebacut tegang dening ngalih Brocade ing jaringan iki, padha bisa lan nindakake fungsi sing, nanging kita nyiapake automation lengkap sawetara tumindak, lan kita ora duwe kabisan iki ing ngalih. Aku uga wanted kanggo ngalih saka 40GE antarmuka kanggo kamungkinan nggunakake 100GE kanggo nggawe cadangan kanggo sabanjuré 2-3 taun. Dadi, kita mutusake kanggo ngganti Brocade dadi Arista.

Switch iki minangka switch agregasi LAN kanggo saben pusat data. Distribusi ngalih (tingkat kapindho agregasi) langsung disambungake kanggo wong-wong mau, sing wis ngumpul Top-of-Rack jaringan lokal ngalih ing rak karo server.

Saben server disambungake menyang siji utawa loro ngalih akses. Ngalih akses disambungake menyang pasangan ngalih distribusi (loro ngalih distribusi lan loro pranala fisik saka ngalih akses kanggo ngalih distribusi beda digunakake kanggo redundansi).

Saben server bisa digunakake dening klien dhewe, supaya klien diparengake VLAN kapisah. VLAN padha banjur kedhaftar ing server liyane klien iki ing rak sembarang. Pusat data kasusun saka sawetara larik (POD), saben baris rak duwe switch distribusi dhewe. Banjur switch distribusi iki disambungake menyang switch agregasi.

Klien bisa pesen server ing sembarang baris, iku mokal kanggo prédhiksi ing advance sing server bakal diparengake utawa diinstal ing baris tartamtu ing rak tartamtu, kang ana bab 2500 VLAN ing ngalih agregasi ing saben pusat data.

Peralatan kanggo DCI (Data-Center Interconnect) disambungake menyang switch agregasi. Bisa ditrapake kanggo konektivitas L2 (sepasang saklar sing mbentuk trowongan VXLAN menyang pusat data liyane) utawa kanggo konektivitas L3 (loro router MPLS).

Kaya sing wis dakcritakake, kanggo nyawijikake proses ngotomatisasi konfigurasi layanan ing peralatan ing siji pusat data, sampeyan kudu ngganti switch agregasi tengah. Kita nginstal ngalih anyar ing jejere sing wis ana, digabungake dadi pasangan MLAG lan wiwit nyiapake kerja. Padha langsung disambungake menyang ngalih agregasi ana, supaya padha duwe domain L2 umum ing kabeh VLAN klien.

Rincian sirkuit

Kanggo spesifik, ayo jeneng switch agregasi lawas A1 и A2, anyar - N1 и N2. Ayo mbayangno sing ing POD 1 и POD 4 server siji klien dadi tuan rumah C1,VLAN klien dituduhake kanthi warna biru. Klien iki nggunakake layanan panyambungan L2 karo pusat data liyane, supaya VLAN sawijining dipakani kanggo sepasang switch VXLAN.

Pelanggan C2 host server ing POD 2 и POD 3,VLAN klien dilambangake ing ijo peteng. Klien iki uga nggunakake layanan panyambungan karo pusat data liyane, nanging L3, supaya VLAN sawijining dipakani kanggo pasangan L3VPN router.

We kudu VLAN klien kanggo ngerti ing apa orane tumrap sekolah saka karya panggantos apa mengkono, ngendi gangguan komunikasi occurs, lan apa dadi dadi. Protokol STP ora digunakake ing skema iki, amarga ambane wit kasebut ing kasus iki gedhe, lan konvergensi protokol kasebut tuwuh sacara eksponensial kanthi jumlah piranti lan tautan ing antarane.

Kabeh piranti disambungake dening pranala pindho mbentuk tumpukan, MLAG pasangan utawa kain VCS Ethernet. Kanggo sepasang router L3VPN, teknologi kasebut ora digunakake, amarga ora perlu redundansi L2; cukup yen ana konektivitas L2 siji-sijine liwat switch agregasi.

Pilihan implementasine

Nalika nganalisa opsi kanggo acara luwih, kita temen maujud sing ana sawetara cara kanggo nindakake karya iki. Saka break global ing kabeh jaringan lokal, kanggo cilik secara harfiah 1-2 break detik ing bagean saka jaringan.

Jaringan, stop! Ngalih, ganti!

Cara paling gampang yaiku, mesthi, ngumumake istirahat komunikasi global ing kabeh POD lan kabeh layanan DCI lan ngalih kabeh tautan saka switch А kanggo ngalih N.

Kajaba saka gangguan, wektu sing ora bisa diprediksi kanthi andal (ya, kita ngerti jumlah tautan, nanging ora ngerti kakehan ana sing salah - saka kabel tembelan sing rusak utawa konektor sing rusak menyang port utawa transceiver sing rusak. ), kita isih ora bisa prédhiksi ing advance apa dawa kabel tembelan, DAC, AOC, disambungake menyang ngalih lawas A, bakal cukup kanggo tekan menyang ngalih anyar N, sanajan ngadeg ing jejere wong-wong mau, nanging isih sethitik kanggo. sisih, lan apa transceiver padha bakal bisa / DAC / AOC saka ngalih Brocade kanggo Arista ngalih.

Lan kabeh iki ing kahanan tekanan sing abot saka pelanggan lan dhukungan teknis ("Natasha, tangi! Natasha, kabeh ora bisa ditindakake! Natasha, kita wis nulis kanggo dhukungan teknis, jujur! Natasha, dheweke wis ngeculake kabeh. ! Natasha, pira maneh sing ora bisa? Natasha, kapan?!"). Sanajan ana istirahat lan kabar sing wis diumumake menyang klien, panjaluk panjaluk ing wektu kasebut dijamin.

Mungkasi, 1-2-3-4!

Apa yen kita ora ngumumake break global, nanging sawetara gangguan komunikasi cilik kanggo layanan POD lan DCI. Sajrone istirahat pisanan, ngalih menyang ngalih N mung POD 1, ing kaloro - ing sawetara dina - POD 2, banjur sawetara dina maneh POD 3, banjur POD 4…[N], banjur VXLAN ngalih lan banjur L3VPN router.

Kanthi organisasi kerja ganti iki, kita nyuda kerumitan kerja siji-wektu lan nambah wektu kanggo ngatasi masalah yen ana kedadeyan sing salah. POD 1 tetep nyambung menyang POD lan DCI liyane sawise ngalih. Nanging karya dhewe nyeret ing wektu sing suwe, sajrone karya iki ing pusat data, insinyur kudu nindakake ngalih kanthi fisik, lan sajrone karya kasebut (lan karya kasebut ditindakake, minangka aturan, ing wayah wengi, saka 2). nganti 5 am), anané insinyur jaringan online dibutuhake ing kualifikasi tingkat sing cukup dhuwur. Nanging banjur kita njaluk gangguan komunikasi cendhak, minangka aturan, karya bisa digawa metu ing setengah jam karo break nganti 2 menit (ing laku, asring 20-30 detik karo prilaku samesthine saka peralatan).

Ing conto klien C1 utawa klien C2 sampeyan kudu ngelingake babagan kerja kanthi gangguan komunikasi paling ora kaping telu - pisanan nindakake pakaryan ing siji POD, ing ngendi salah sawijining server dumunung, kaping pindho - kaping pindho, lan kaping telune - nalika peralatan ngoper kanggo layanan DCI.

Ngalih saluran komunikasi agregat

Napa kita ngomong babagan prilaku peralatan sing dikarepake, lan kepiye saluran sing dikumpulake bisa diowahi nalika nyuda gangguan komunikasi? Coba bayangake gambar ing ngisor iki:

Ing sisih siji link ana switch distribusi POD - D1 и D2, padha mbentuk pasangan MLAG karo saben liyane (tumpukan, pabrik VCS, pasangan vPC), ing tangan liyane ana loro pranala - Link 1 и Link 2 - kalebu ing pasangan MLAG saka ngalih agregasi lawas А. Ing sisih ngalih D antarmuka aggregated karo jeneng Saluran Port A, ing sisih ngalih agregasi А - antarmuka dikumpulake karo jeneng Saluran Port D.

Antarmuka gabungan nggunakake LACP ing operasi, yaiku, ngalih ing loro-lorone kanthi rutin ngganti paket LACPDU ing loro pranala kanggo mesthekake yen pranala:

• buruh;
• kalebu ing siji pasangan piranti ing sisih remot.

Nalika ijol-ijolan paket, paket kasebut nggawa regane sistem-id, nuduhake piranti ngendi pranala iki klebu. Kanggo pasangan MLAG (tumpukan, pabrik, etc.), Nilai sistem-id kanggo piranti sing mbentuk antarmuka dikumpulake padha. Ngalih D1 ngirim menyang Link 1 tegese id sistem D, lan ngalih D2 ngirim menyang Link 2 tegese id sistem D.

Ngalih A1 и A2 njelasno paket LACPDU ditampa liwat siji antarmuka Po D lan mriksa yen sistem-id ing wong cocog. Yen sistem-id ditampa liwat sawetara link dumadakan beda saka nilai operasi saiki, banjur pranala iki dibusak saka antarmuka aggregated nganti kahanan didandani. Saiki ing sisih switch kita D nilai sistem-id saiki saka mitra LACP - A, lan ing sisih ngalih А — nilai sistem-id saiki saka mitra LACP — D.

Yen kita kudu ngalih antarmuka sing dikumpulake, kita bisa nindakake kanthi rong cara:

Cara 1 - Prasaja
Pateni loro pranala saka switch A. Ing kasus iki, saluran sing dikumpulake ora bisa digunakake.

Sambungake loro pranala siji-siji menyang ngalih N, banjur parameter operasi LACP bakal rembugan maneh lan antarmuka bakal kawangun Po D ing ngalih N lan transmisi nilai ing pranala id sistem N.

Cara 2 - Nyilikake gangguan
Pedhot Link 2 saka switch A2. Ing wektu sing padha, lalu lintas antarane А и D bakal terus ditularake mung liwat salah siji pranala, sing bakal tetep dadi bagian saka antarmuka sing dikumpulake.

Sambungake Link 2 kanggo ngalih N2. Ing ngalih N antarmuka dikumpulake wis diatur Po DN, lan ngalih N2 bakal miwiti ngirim menyang LACPDU id sistem N. Ing tataran iki kita wis bisa mriksa sing ngalih N2 dianggo bener karo transceiver digunakake kanggo Link 2, sing port sambungan wis mlebu negara Up, lan ora ana kasalahan ing port sambungan nalika ngirim LACPDUs.

Nanging kasunyatan sing ngalih D2 kanggo antarmuka dikumpulake Po A saka sisih Link 2 nampa nilai sistem-id N sing beda karo sistem operasi saiki-id nilai A, ora ngidini ngalih D kanggo ngenalake Link 2 bagean saka antarmuka dikumpulake Po A. Ngalih N ora bisa mlebu Link 2 menyang operasi, awit iku ora nampa konfirmasi operability saka partner LACP saka ngalih D2. Lalu lintas asil yaiku Link 2 ora liwat.

Lan saiki kita mateni Link 1 saka switch A1, mangkono depriving ngalih А и D antarmuka agregat kerja. Dadi ing sisih ngalih D nilai sistem-id saiki digunakake kanggo antarmuka ilang Po A.

Iki ngidini ngalih D и N setuju kanggo ijol-ijolan id-sistem AN ing antarmuka Po A и Po DN, supaya lalu lintas wiwit ditularake ing sadawane pranala Link 2. Jeda ing kasus iki, ing laku, nganti 2 detik.

Lan saiki kita bisa gampang ngalih Link 1 kanggo ngalih N1, mulihake kapasitas lan tingkat redundansi antarmuka Po A и Po DN. Wiwit nalika link iki disambungake, nilai sistem-id saiki ora ngganti ing salah siji sisih, ora ana gangguan.

pranala tambahan

Nanging ngalih bisa ditindakake tanpa anané insinyur nalika ngoper. Kanggo nindakake iki, kita kudu nglebokake pranala tambahan ing antarane switch distribusi luwih dhisik D lan ngalih panggabungan anyar N.

Kita nggawe pranala anyar ing antarane saklar agregasi N lan ngalih distribusi kanggo kabeh PODs. Iki mbutuhake pesenan lan masang kabel patch tambahan, lan nginstal transceiver tambahan kaya ing Nlan ing D. Kita bisa nindakake iki amarga ing switch kita D Saben POD duwe port gratis (utawa kita wis mbebasake). Akibaté, saben POD disambungake sacara fisik kanthi rong pranala menyang switch lawas A lan menyang switch anyar N.

Ing ngalih D rong antarmuka gabungan wis dibentuk - Po A karo pranala Link 1 и Link 2lan Po N - karo pranala Link N1 и Link N2. Ing tahap iki, kita mriksa sambungan sing bener saka antarmuka lan pranala, tingkat sinyal optik ing loro ujung pranala (liwat informasi DDM saka ngalih), kita bisa malah mriksa kinerja link ing mbukak utawa ngawasi negara saka sinyal optik lan suhu transceiver kanggo sawetara dina.

Lalu lintas isih dikirim liwat antarmuka Po A, lan antarmuka Po N biaya ora lalu lintas. Setelan ing antarmuka kaya iki:

Interface Port-channel A
Switchport mode trunk
Switchport allowed vlan C1, C2

Interface Port-channel N
Switchport mode trunk
Switchport allowed vlan none

D ngalih, minangka aturan, ndhukung konfigurasi ulang sesi; model switch sing nduweni fungsi iki digunakake. Supaya kita bisa ngganti setelan antarmuka Po A lan Po N ing siji langkah:

Configure session
Interface Port-channel A
Switchport allowed vlan none
Interface Port-channel N
Switchport allowed vlan C1, C2
Commit

Banjur owah-owahan konfigurasi bakal cukup cepet, lan break bakal, ing laku, ora luwih saka 5 detik.

Cara iki ngidini kita kanggo ngrampungake kabeh karya preparatory ing advance, nindakake kabeh mriksa perlu, koordinasi karya karo peserta ing proses, prédhiksi ing rinci tumindak kanggo produksi karya, tanpa penerbangan kreatifitas nalika "kabeh dadi salah. , "lan duwe rencana bali menyang konfigurasi sadurunge. Pakaryan miturut rencana iki ditindakake dening insinyur jaringan tanpa anané insinyur pusat data ing situs sing sacara fisik nindakake switching.

Apa uga penting karo cara ngoper iki yaiku kabeh pranala anyar wis dipantau luwih dhisik. Kesalahan, kalebu pranala ing unit, loading link - kabeh informasi sing dibutuhake wis ana ing sistem pemantauan, lan iki wis digambar ing peta.

D-Day

polong

Kita milih dalan ngoper paling ora nglarani kanggo klien lan sing paling rawan kanggo skenario "ana sing salah" kanthi pranala tambahan. Dadi, kita ngalih kabeh POD menyang switch agregasi anyar sajrone sawetara bengi.

Nanging sing isih ana yaiku ngalih peralatan sing nyedhiyakake layanan DCI.

L2

Ing kasus peralatan sing nyedhiyakake konektivitas L2, kita ora bisa nindakake pakaryan sing padha karo tautan tambahan. Paling ora ana rong alasan:

• Lack saka free bandar kacepetan dibutuhake ing VXLAN ngalih.
• Lack saka fungsi pangowahan konfigurasi sesi ing ngalih VXLAN.

Kita ora ngalih pranala "siji-siji" kanthi istirahat mung nalika setuju karo pasangan sistem-id anyar, amarga kita ora duwe kapercayan 100% yen prosedur kasebut bakal mlaku kanthi bener, lan tes ing laboratorium nuduhake yen ing cilik yen "soko dadi salah,"kita isih njaluk gangguan sambungan, lan apa paling awon ora mung kanggo klien sing duwe konektivitas L2 karo pusat data liyane, nanging umume kanggo kabeh klien saka pusat data iki.

Kita nindakake karya propaganda luwih dhisik babagan transisi saka saluran L2, saengga jumlah klien sing kena pengaruh kerja ing switch VXLAN wis kaping pirang-pirang kurang saka setahun kepungkur. Akibaté, kita mutusaké kanggo ngganggu komunikasi liwat layanan sambungan L2, kasedhiya yen kita njaga operasi normal layanan jaringan lokal ing siji pusat data. Kajaba iku, SLA kanggo layanan iki nyedhiyakake kemungkinan nindakake karya sing dijadwalake kanthi gangguan.

L3

Napa disaranake kabeh wong ngalih menyang L3VPN nalika ngatur layanan DCI? Salah sawijining alasan yaiku kemampuan kanggo nindakake karya ing salah sawijining router sing nyedhiyakake layanan iki, mung nyuda tingkat redundansi menyang N + 0, tanpa ngganggu komunikasi.

Ayo ndeleng kanthi luwih rinci babagan skema pangiriman layanan. Ing layanan iki, segmen L2 dadi saka server klien mung menyang router L3VPN Selectel. Jaringan klien diakhiri ing router.

Saben server klien, f.eks. S2 и S3 ing diagram ndhuwur, duwe alamat IP pribadi dhewe - 10.0.0.2/24 ing server S2 и 10.0.0.3/24 ing server S3. Alamat 10.0.0.252/24 и 10.0.0.253/24 diutus dening Selectel kanggo router L3VPN-1 и L3VPN-2, mungguh. alamat IP 10.0.0.254/24 minangka alamat VIP VRRP ing router Selectel.

Sampeyan bisa sinau luwih lengkap babagan layanan L3VPN maca ing blog kita.

Sadurunge ngalih, kabeh katon kaya ing diagram:

Router loro L3VPN-1 и L3VPN-2 padha disambungake menyang ngalih agregasi lawas А. Master kanggo alamat VIP VRRP 10.0.0.254 yaiku router L3VPN-1. Nduwe prioritas sing luwih dhuwur kanggo alamat iki tinimbang router L3VPN-2.

unit 1006 {
    description C2;
    vlan-id 1006;
    family inet {       
        address 10.0.0.252/24 {
            vrrp-group 1 {
                priority 200;
                virtual-address 10.100.0.254;
                preempt {
                    hold-time 120;
                }
                accept-data;
            }
        }
    }
}

Server S2 nggunakake gateway 10.0.0.254 kanggo komunikasi karo server ing lokasi liyane. Mangkono, medhot router L3VPN-2 saka jaringan (mesthi, yen pisanan pedhot saka domain MPLS) ora mengaruhi panyambungan saka server klien. Ing titik iki, tingkat redundansi sirkuit mung suda.

Sawise iki, kita bisa nyambungake router kanthi aman L3VPN-2 menyang pasangan ngalih N. Link lay, ngganti transceiver. Antarmuka logis router, sing gumantung karo operasi layanan klien, dipateni nganti dikonfirmasi manawa kabeh bisa digunakake.

Sawise mriksa pranala, transceiver, tingkat sinyal, lan tingkat kesalahan ing antarmuka, router dileksanakake, nanging wis disambungake menyang saklar anyar.

Sabanjure, kita ngurangi prioritas VRRP saka router L3VPN-1, lan alamat VIP 10.0.0.254 dipindhah menyang router L3VPN-2. Karya-karya kasebut uga ditindakake tanpa gangguan komunikasi.

Nransfer alamat VIP 10.0.0.254 menyang router L3VPN-2 ngijini sampeyan kanggo mateni router L3VPN-1 tanpa gangguan komunikasi kanggo klien lan nyambungake menyang pasangan anyar saka ngalih agregasi N.

Apa utawa ora bali VRRP VIP kanggo router L3VPN-1 liyane pitakonan, lan malah yen bali, wis rampung tanpa interrupting sambungan.

Total

Sawise kabeh langkah kasebut, kita bener-bener ngganti switch agregasi ing salah sawijining pusat data, nalika nyuda gangguan kanggo para pelanggan.

Kabeh sing isih ana yaiku dismantling. Mbusak switch lawas, mbongkar pranala lawas antarane switch A lan D, mbongkar transceiver saka pranala kasebut, koreksi pemantauan, koreksi diagram jaringan ing dokumentasi lan pemantauan.

Kita bisa nggunakake switch, transceiver, kabel patch, AOC, DAC kiwa sawise ngalih ing proyèk liyane utawa kanggo ngoper liyane padha.

"Natasha, kita ngalih kabeh!"

Source: www.habr.com