Dina aggregation jaringan lokal urang boga genep pasang saklar Arista DCS-7050CX3-32S sarta sapasang saklar Brocade VDX 6940-36Q. Ieu teu yén kami overly tapis ku switch Brocade dina jaringan ieu, aranjeunna dianggo tur ngalakukeun fungsi maranéhanana, tapi urang Nyiapkeun automation pinuh ku sababaraha lampah, sarta kami teu boga kamampuhan ieu dina switch ieu. Kuring ogé hayang pindah ti interfaces 40GE kana kamungkinan ngagunakeun 100GE dina urutan nyieun cadangan pikeun salajengna 2-3 taun. Janten urang mutuskeun pikeun ngarobih Brocade ka Arista.
Saklar ieu saklar agrégasi LAN pikeun tiap puseur data. Distribusi switch (tingkat kadua aggregation) disambungkeun langsung ka aranjeunna, nu geus ngumpul Top-of-Rack switch jaringan lokal dina rak jeung server.
Unggal server disambungkeun ka hiji atawa dua saklar aksés. Saklar aksés disambungkeun ka sapasang saklar distribusi (dua saklar distribusi sareng dua tautan fisik ti saklar aksés ka saklar distribusi anu béda dianggo pikeun redundansi).
Unggal server bisa dipaké ku klien sorangan, jadi klien nu disadiakeun VLAN misah. VLAN sarua lajeng didaptarkeun dina server sejen tina klien ieu dina rak wae. Puseur data diwangun ku sababaraha jajar (POD), unggal baris rak gaduh saklar distribusi sorangan. Lajeng saklar distribusi ieu disambungkeun ka saklar aggregation.
Klién tiasa mesen server dina barisan naon waé; mustahil pikeun ngaduga sateuacanna yén server bakal dialokasikeun atanapi dipasang dina baris khusus dina rak khusus, naha éta aya kira-kira 2500 VLAN dina saklar agrégasi dina unggal pusat data.
Parabot pikeun DCI (Data-Center Interconnect) disambungkeun ka saklar aggregation. Bisa dimaksudkeun pikeun konektipitas L2 (sapasang saklar ngabentuk torowongan VXLAN ka puseur data sejen) atawa pikeun konektipitas L3 (dua routers MPLS).
Sakumaha anu kuring parantos nyerat, pikeun ngahijikeun prosés otomatisasi konfigurasi jasa dina alat-alat dina hiji pusat data, peryogi ngagentos saklar agrégasi sentral. Urang dipasang saklar anyar gigireun nu geus aya, digabungkeun kana hiji pasangan MLAG sarta mimiti nyiapkeun karya. Aranjeunna langsung disambungkeun kana switch aggregation aya, ambéh maranéhanana miboga domain L2 umum sakuliah sakabéh VLAN klien.
Rincian sirkuit
Pikeun spésifikasi, hayu urang ngaranan switch aggregation heubeul А1 и А2, anyar - N1 и N2. Hayu urang ngabayangkeun éta dina POD 1 и POD 4 server hiji klien nu hosted S1, VLAN klien dituduhkeun dina warna biru. Klién ieu nganggo jasa konektipitas L2 sareng pusat data anu sanés, janten VLAN na disayogikeun ka sapasang saklar VXLAN.
Palanggan S2 host server di POD 2 и POD 3, VLAN klien dilambangkeun dina héjo poék. Klién ieu ogé nganggo layanan konektipitas sareng pusat data anu sanés, tapi L3, janten VLAN na disayogikeun ka sapasang router L3VPN.
Urang kudu klien VLANs ngartos dina naon tahapan karya ngagantian naon kajadian, dimana gangguan komunikasi lumangsung, sarta naon durasi na. Protokol STP henteu dianggo dina skéma ieu, sabab lebar tangkal pikeun éta dina hal ieu ageung, sareng konvergénsi protokol naék sacara éksponénsial kalayan jumlah alat sareng tautan antara aranjeunna.
Sadaya alat disambungkeun ku tumbu ganda ngabentuk tumpukan, pasangan MLAG atawa VCS Ethernet lawon. Pikeun sapasang router L3VPN, téknologi sapertos kitu henteu dianggo, sabab teu aya kabutuhan pikeun redundansi L2; cukup aranjeunna gaduh konektipitas L2 ka silih ngalangkungan saklar agrégasi.
Pilihan palaksanaan
Nalika nganalisis pilihan pikeun acara salajengna, urang sadar yén aya sababaraha cara pikeun ngalaksanakeun padamelan ieu. Ti putus global dina sakabéh jaringan lokal, mun leutik sacara harfiah 1-2 detik ngarecah dina bagian tina jaringan.
Jaringan, eureun! Pindah, ganti!
Cara panggampangna nyaéta, tangtosna, nyatakeun putus komunikasi global dina sadaya POD sareng sadaya jasa DCI sareng gentos sadaya tautan tina saklar. А pikeun switch N.
Sajaba ti interupsi, waktu nu urang teu bisa reliably ngaduga (enya, urang nyaho jumlah Tumbu, tapi urang teu nyaho sabaraha kali hal bakal salah - ti kabel patch rusak atawa konektor ruksak ka port faulty atanapi transceiver. ), urang masih teu bisa ngaduga sateuacanna naha panjang cords patch, DAC, AOC, disambungkeun ka switch heubeul A, bakal cukup pikeun ngahontal éta ka switch anyar N, sanajan nangtung gigireun aranjeunna, tapi masih saeutik sisi, jeung naha transceiver sarua bakal dianggo / DAC / AOC ti saklar Brocade mun Arista saklar.
Sareng sadaya ieu dina kaayaan tekanan parna ti para nasabah sareng dukungan téknis ("Natasha, gugah! Natasha, sadayana henteu jalan didinya! Natasha, kami parantos nyerat kana dukungan téknis, jujur! Natasha, aranjeunna parantos turun sadayana. ! Natasha, sabaraha deui urang moal bisa? Natasha, iraha bakal dianggo?!"). Sanaos istirahat sateuacana diumumkeun sareng béwara ka klien, panyaluran paménta dina waktos sapertos kitu dijamin.
Eureun, 1-2-3-4!
Kumaha lamun urang teu ngumumkeun putus global, tapi rada runtuyan interruptions komunikasi leutik pikeun POD na jasa DCI. Salila istirahat kahiji, pindah ka switch N ngan POD 1, dina kadua - dina sababaraha poé - POD 2, teras sababaraha dinten deui POD 3, Jsb POD 4…[N], lajeng switch VXLAN lajeng routers L3VPN.
Kalayan organisasi ngalihkeun padamelan ieu, urang ngirangan pajeulitna padamelan sakali sareng ningkatkeun waktos urang pikeun ngarengsekeun masalah upami aya anu ngadadak salah. POD 1 tetep nyambung ka POD sareng DCI sanés saatos gentos. Tapi karya sorangan drags on pikeun lila; salila gawé ieu di puseur data, insinyur diperlukeun pikeun fisik nedunan switching, sarta salila gawé (jeung karya sapertos dilumangsungkeun, sakumaha aturan, peuting, ti 2). ka 5 am), ayana insinyur jaringan online diperlukeun dina kualifikasi tingkat cukup luhur. Tapi lajeng urang meunang interruptions komunikasi pondok, sakumaha aturan, karya bisa dilumangsungkeun dina interval satengah jam jeung putus nepi ka 2 menit (dina prakna, mindeng 20-30 detik jeung kabiasaan ekspektasi pakakas).
Dina conto klien S1 atawa klien S2 Anjeun kedah ngingetkeun ngeunaan damel sareng gangguan komunikasi sahenteuna tilu kali - pertama kalina ngalaksanakeun padamelan dina hiji POD, dimana salah sahiji serverna aya, kadua kalina - dina kadua, sareng katilu kalina - nalika alat switching pikeun layanan DCI.
Ngarobah saluran komunikasi aggregated
Naha urang ngobrol ngeunaan paripolah alat anu dipiharep, sareng kumaha saluran agrégat tiasa digentos bari ngaminimalkeun gangguan komunikasi? Hayu urang ngabayangkeun gambar di handap ieu:
Dina hiji sisi tautan aya saklar distribusi POD - D1 и D2, aranjeunna ngabentuk pasangan MLAG saling (tumpukan, pabrik VCS, pasangan vPC), di sisi séjén aya dua link - link 1 и link 2 - kaasup dina pasangan MLAG saklar aggregation heubeul А. Dina sisi switch D panganteur aggregated kalawan ngaran Saluran port A, di sisi switch aggregation А - panganteur aggregated kalawan ngaran Saluran port D.
Interfaces agrégat ngagunakeun LACP dina operasi maranéhanana, nyaeta, switch dina dua sisi rutin tukeur pakét LACPDU dina duanana Tumbu pikeun mastikeun yén tumbu:
- pagawe;
- kaasup dina sapasang alat di sisi jauh.
Nalika tukeur pakét, pakét mawa nilai sistem-id, nunjukkeun alat dimana Tumbu ieu kaasup. Pikeun pasangan MLAG (tumpukan, pabrik, jeung sajabana), nilai sistem-id pikeun alat-alat nu ngabentuk panganteur aggregated sarua. Pindah D1 ngirimkeun ka link 1 harti id sistem D, jeung switch D2 ngirimkeun ka link 2 harti id sistem D.
Saklar А1 и А2 nganalisis pakét LACPDU narima leuwih hiji panganteur Po D jeung pariksa lamun sistem-id di antarana cocog. Lamun sistem-id narima via sababaraha link dumadakan béda ti nilai operasi ayeuna, teras tautan ieu dipiceun tina antarmuka agrégat dugi ka kaayaan dilereskeun. Ayeuna di sisi switch kami D nilai sistem-id ayeuna ti pasangan LACP - A, sarta di sisi switch А - nilai sistem-id ayeuna ti pasangan LACP - D.
Upami urang kedah ngalihkeun antarmuka agrégat, urang tiasa ngalakukeunana ku dua cara:
Métode 1 - Basajan
Pareuman duanana tautan tina saklar A. Dina hal ieu, saluran aggregated teu jalan.
Sambungkeun duanana link hiji-hiji ka saklar N, lajeng parameter operasi LACP bakal disawalakeun deui sarta panganteur bakal kabentuk Po D dina saklar N sareng pangiriman nilai dina tautan id sistem N.
Métode 2 - Ngaleutikan interupsi
Pegatkeun sambungan Patalina 2 ti switch A2. Dina waktu nu sarua, lalulintas antara А и D bakal terus dikirimkeun saukur ngaliwatan salah sahiji Tumbu, nu bakal tetep bagian tina panganteur aggregated.
Sambungkeun Patalina 2 pikeun switch N2. Dina saklar N panganteur aggregated geus ngonpigurasi Po DN, jeung switch N2 bakal ngamimitian ngirimkeun ka LACPDU id sistem N. Dina tahap ieu urang geus bisa pariksa yen switch N2 jalan bener jeung transceiver dipaké pikeun link 2, yén port sambungan geus diasupkeun kaayaan Up, sarta yén euweuh kasalahan lumangsung dina port sambungan nalika ngirimkeun LACPDUs.
Tapi kanyataan yén switch D2 pikeun panganteur aggregated Po A ti gigir Link 2 nampi nilai sistem-id N béda ti nilai sistem-id A ayeuna, teu ngidinan switch D ngenalkeun link 2 bagian tina panganteur aggregated Po A. Pindah N teu bisa asup link 2 kana operasi, saprak éta henteu nampi konfirmasi operability ti pasangan LACP of saklar D2. lalulintas hasilna nyaeta link 2 teu meunang liwat.
Tur ayeuna urang mareuman Patalina 1 ti switch A1, kukituna depriving saklar А и D panganteur agrégat digawé. Ku kituna dina sisi switch D nilai sistem-id kerja ayeuna keur panganteur nu disappears Po A.
Hal ieu ngamungkinkeun switch D и N satuju pikeun tukeur system-id HIJI dina interfaces Po A и Po DN, ku kituna lalulintas mimiti dikirimkeun sapanjang link link 2. Jeda dina hal ieu, dina prakna, nepi ka 2 detik.
Tur ayeuna urang bisa kalayan gampang pindah Link 1 mun pindah N1, malikkeun kapasitas jeung tingkat redundansi panganteur Po A и Po DN. Kusabab nalika link ieu disambungkeun, nilai Sistim-id ayeuna teu robah dina dua sisi, euweuh gangguan.
Tumbu tambahan
Tapi switch bisa dipigawé tanpa ayana insinyur dina waktu switching. Jang ngalampahkeun ieu, urang kudu iklas Tumbu tambahan antara switch distribution sateuacanna D jeung switch aggregation anyar N.
Kami nempatkeun tautan anyar antara saklar agrégasi N jeung switch distribution pikeun sakabéh PODs. Ieu peryogi mesen sareng nempatkeun kabel patch tambahan, sareng masang transceiver tambahan sapertos dina Nsareng di D. Urang tiasa ngalakukeun ieu kusabab di switch kami D Unggal POD ngagaduhan palabuhan gratis (atanapi kami tos ngabebaskeunana). Hasilna, unggal POD dihubungkeun sacara fisik ku dua tautan ka saklar A sareng ka saklar anyar N.
Dina saklar D dua interfaces aggregated geus kabentuk - Po A kalawan tumbu link 1 и link 2jeung Po N - kalawan tumbu Patalina N1 и Patalina N2. Dina tahap ieu, urang pariksa sambungan bener tina interfaces na Tumbu, tingkat sinyal optik dina duanana tungtung Tumbu (via DDM informasi ti saklar), urang malah bisa pariksa kinerja link dina beban atawa ngawas kaayaan sinyal optik jeung suhu transceiver salila sababaraha poé.
Lalulintas masih dikirim ngaliwatan panganteur Po A, jeung panganteur Po N waragad euweuh lalulintas. Setélan dina antarmuka sapertos kieu:
Interface Port-channel A
Switchport mode trunk
Switchport allowed vlan C1, C2
Interface Port-channel N
Switchport mode trunk
Switchport allowed vlan noneSaklar D, sakumaha aturan, ngadukung konfigurasi ulang sési; modél saklar anu ngagaduhan fungsi ieu dianggo. Janten urang tiasa ngarobih setélan antarmuka Po A sareng Po N dina hiji léngkah:
Configure session
Interface Port-channel A
Switchport allowed vlan none
Interface Port-channel N
Switchport allowed vlan C1, C2
CommitLajeng parobahan konfigurasi bakal lumangsung cukup gancang, sarta putus bakal, dina prakna, moal leuwih ti 5 detik.
Metoda ieu ngamungkinkeun urang pikeun ngarengsekeun sagala karya préparasi sateuacanna, ngalaksanakeun sagala cék perlu, koordinat karya jeung pamilon dina prosés, ngaduga sacara rinci lampah pikeun produksi karya, tanpa penerbangan kreativitas nalika "sagala salah. , "Sareng gaduh rencana pikeun mulang ka konfigurasi sateuacana. Gawé numutkeun rencana ieu dilaksanakeun ku insinyur jaringan tanpa ayana insinyur pusat data dina situs anu sacara fisik ngalaksanakeun switching.
Anu penting ogé kalayan metode switching ieu nyaéta yén sadaya tautan énggal parantos diawaskeun sateuacanna. Kasalahan, ngalebetkeun tautan dina unit, ngamuat tautan - sadaya inpormasi anu diperyogikeun parantos aya dina sistem ngawaskeun, sareng ieu parantos digambar dina peta.
D-Day
Pod
Urang milih jalur switching pangsaeutikna nyeri pikeun klien tur sahenteuna rawan skenario "hal nu salah" kalawan tumbu tambahan. Janten urang ngalihkeun sadaya POD ka saklar agrégasi énggal dina sababaraha wengi.
Tapi anu tetep nyaéta ngalihkeun alat anu nyayogikeun jasa DCI.
L2
Dina hal alat anu nyayogikeun konektipitas L2, kami henteu tiasa ngalaksanakeun padamelan anu sami sareng tautan tambahan. Sahenteuna aya dua alesan pikeun ieu:
- Kurangna palabuhan bébas tina speed diperlukeun dina saklar VXLAN.
- Kurangna fungsionalitas robah konfigurasi sési on switch VXLAN.
Kami henteu ngalihkeun tautan "hiji-hiji" ngan ukur istirahat bari satuju kana pasangan sistem-id anyar, sabab kami henteu gaduh 100% kayakinan yén prosedurna bakal leres, sareng tés di laboratorium nunjukkeun yén dina bisi lamun "hal mana anu salah," urang masih meunang gangguan sambungan, sarta naon awon henteu ngan pikeun klien anu boga konektipitas L2 kalawan puseur data sejenna, tapi sacara umum pikeun sakabéh klien puseur data ieu.
Kami ngalaksanakeun padamelan propaganda sateuacanna dina transisi tina saluran L2, janten jumlah klien anu kapangaruhan ku padamelan dina saklar VXLAN parantos sababaraha kali kirang ti sataun katukang. Hasilna, urang mutuskeun pikeun ngaganggu komunikasi liwat layanan sambungan L2, disadiakeun yén urang ngajaga operasi normal tina jasa jaringan lokal dina hiji puseur data. Salaku tambahan, SLA pikeun jasa ieu nyayogikeun kamungkinan ngalaksanakeun padamelan anu dijadwalkeun kalayan gangguan.
L3
Naha kami nyarankeun yén sadayana ngalih ka L3VPN nalika ngatur jasa DCI? Salah sahiji alesanana nyaéta kamampuan pikeun ngalaksanakeun padamelan dina salah sahiji router anu nyayogikeun jasa ieu, ngan saukur ngirangan tingkat redundancy ka N + 0, tanpa ngaganggu komunikasi.
Hayu urang nempo leuwih deukeut skéma pangiriman jasa. Dina layanan ieu, bagean L2 balik ti server klien wungkul ka routers L3VPN Selectel. Jaringan klien ieu terminated on routers.
Unggal server klien, f.eks. S2 и S3 dina diagram di luhur, gaduh alamat IP pribadi sorangan - 10.0.0.2/24 dina server S2 и 10.0.0.3/24 dina server S3. Alamat 10.0.0.252/24 и 10.0.0.253/24 ditugaskeun ku Selectel ka routers L3VPN-1 и L3VPN-2, masing-masing. alamat IP 10.0.0.254/24 mangrupakeun alamat VIP VRRP dina routers Selectel.
Anjeun tiasa diajar langkung seueur ngeunaan jasa L3VPN dina blog urang.
Sateuacan saklar, sadayana katingali sapertos dina diagram:
Dua routers L3VPN-1 и L3VPN-2 disambungkeun ka switch aggregation heubeul А. Master pikeun alamat VIP VRRP 10.0.0.254 nyaéta router L3VPN-1. Mibanda prioritas leuwih luhur pikeun alamat ieu ti router dina L3VPN-2.
unit 1006 {
description C2;
vlan-id 1006;
family inet {
address 10.0.0.252/24 {
vrrp-group 1 {
priority 200;
virtual-address 10.100.0.254;
preempt {
hold-time 120;
}
accept-data;
}
}
}
}Server S2 nganggo gateway 10.0.0.254 pikeun komunikasi sareng server di lokasi anu sanés. Ku kituna, pegatkeun sambungan router L3VPN-2 tina jaringan (tangtosna, upami mimiti dipegatkeun tina domain MPLS) henteu mangaruhan konektipitas server klien. Dina titik ieu, tingkat redundancy sirkuit urang ngan saukur ngurangan.
Saatos ieu, urang tiasa aman nyambungkeun deui router L3VPN-2 kana sapasang saklar N. Tumbu iklas, ngarobah transceiver. Antarbeungeut logis router, anu gumantung kana operasi jasa klien, ditumpurkeun dugi ka dikonfirmasi yén sadayana fungsina sakumaha sakuduna.
Saatos mariksa tautan, transceiver, tingkat sinyal, sareng tingkat kasalahan dina antarmuka, router dijalankeun, tapi parantos nyambung ka saklar énggal.
Salajengna, urang nurunkeun prioritas VRRP router L3VPN-1, sarta alamat VIP 10.0.0.254 dipindahkeun ka router L3VPN-2. Karya ieu ogé dilaksanakeun tanpa gangguan komunikasi.
Mindahkeun alamat VIP 10.0.0.254 kana router L3VPN-2 ngidinan Anjeun pikeun nganonaktipkeun router L3VPN-1 tanpa gangguan komunikasi pikeun klien tur sambungkeun ka pasangan anyar saklar aggregation N.
Naha atanapi henteu balik VRRP VIP ka L3VPN-1 router sual sejen, komo lamun balik, eta geus rengse tanpa interrupting sambungan.
dina total
Saatos sadaya léngkah ieu, kami saleresna ngagentos saklar agrégasi di salah sahiji pusat data kami, bari ngaminimalkeun gangguan pikeun konsumén urang.
Nu nyésa téh ngabongkar. Ngabongkar saklar heubeul, ngabongkar tumbu heubeul antara saklar A jeung D, ngabongkar transceiver tina tumbu ieu, koreksi ngawaskeun, koreksi diagram jaringan dina dokuméntasi jeung monitoring.
Urang tiasa nganggo switch, transceiver, patch cords, AOC, DAC ditinggalkeun sanggeus pindah dina proyék séjén atawa pikeun switching sarupa lianna.
"Natasha, urang gentos sadayana!"
sumber: www.habr.com