Gure sare lokalen agregazioan Arista DCS-7050CX3-32S etengailuen sei pare eta Brocade VDX 6940-36Q etengailu pare bat genituen. Ez da sare honetako Brocade etengailuek gehiegi estutu gintuzten, funtzionatzen dute eta funtzioak betetzen dituzte, baina ekintza batzuen automatizazio osoa prestatzen ari ginen, eta etengailu hauetan gaitasun horiek ez genituen. Gainera, 40GE interfazeetatik 100GE erabiltzeko aukerara aldatu nahi nuen hurrengo 2-3 urteetarako erreserba egiteko. Beraz, Brocade Aristara aldatzea erabaki genuen.
Etengailu hauek datu-zentro bakoitzeko LAN agregazio etengailuak dira. Banaketa etengailuak (bigarren agregazio-maila) zuzenean konektatzen dira haietara, eta dagoeneko Top-of-Rack sare lokaleko etengailuak muntatzen dituzte zerbitzariak dituzten racketan.
Zerbitzari bakoitza sarbide-etengailu batera edo bitara konektatuta dago. Sarbide etengailuak banaketa etengailu pare batera konektatzen dira (bi banaketa etengailu eta sarbide etengailutik banaketa ezberdinetarako bi esteka fisiko erabiltzen dira erredundantziarako).
Zerbitzari bakoitza bere bezeroak erabil dezake, beraz, bezeroari VLAN bereizi bat esleitzen zaio. Ondoren, VLAN bera bezero honen beste zerbitzari batean erregistratzen da edozein racktan. Datu-zentroak horrelako hainbat errenkada (POD) ditu, bastidore-lerro bakoitzak bere banaketa-etengailuak ditu. Ondoren, banaketa etengailu hauek agregazio etengailuetara konektatzen dira.
Bezeroek zerbitzari bat edozein ilaratan eska dezakete; aldez aurretik ezin da aurreikustea zerbitzaria errenkada zehatz batean esleitu edo instalatuko den rack zehatz batean, horregatik 2500 VLAN inguru daude datu-zentro bakoitzean agregazio-switchetan.
DCI (Data-Center Interconnect) ekipamendua agregazio etengailuetara konektatuta dago. L2 konektagarritasunerako (VXLAN tunel bat osatzen duten beste datu-zentro baterako etengailu pare bat) edo L3 konektagarritasunerako (bi MPLS bideratzaile) izan daiteke.
Dagoeneko idatzi dudan bezala, datu-zentro batean ekipoen zerbitzuen konfigurazioa automatizatzeko prozesuak bateratzeko, beharrezkoa zen agregazio-etengailu zentralak ordezkatzea. Lehendik zeudenen ondoan etengailu berriak instalatu genituen, MLAG bikote batean konbinatu eta lanerako prestatzen hasi ginen. Berehala lehendik zeuden agregazio etengailuetara konektatu ziren, beraz, L2 domeinu komun bat zuten bezero VLAN guztietan.
Zirkuituaren xehetasunak
Zehaztasunetarako, izenda ditzagun agregazio-etengailu zaharrak A1 ΠΈ A2, berria - N1 ΠΈ N2. Imajina dezagun hori POD 1 ΠΈ POD 4 bezero baten zerbitzariak ostatatuta daude Π‘1,Bezeroaren VLANa urdinez adierazten da. Bezero hau L2 konexio-zerbitzua beste datu-zentro batekin erabiltzen ari da, beraz, bere VLANa VXLAN etengailu pare batera elikatzen da.
bezero Π‘2 zerbitzariak barne hartzen ditu POD 2 ΠΈ POD 3,Bezeroaren VLANa berde ilunez adierazten da. Bezero honek beste datu-zentro batekin ere konektagarritasun-zerbitzu bat erabiltzen du, baina L3rekin, beraz, bere VLAN L3VPN bideratzaile pare batera elikatzen da.
Bezeroen VLANak behar ditugu ulertzeko ordezkapenaren zein fasetan gertatzen den zer gertatzen den, non gertatzen den komunikazio-etenaldia eta zein izan daitekeen iraupena. STP protokoloa ez da eskema honetan erabiltzen, zuhaitzaren zabalera handia baita kasu honetan, eta protokoloaren konbergentzia esponentzialki hazten da haien arteko gailu eta lotura kopuruarekin.
Esteka bikoitz bidez konektatutako gailu guztiek pila bat, MLAG bikotea edo VCS Ethernet ehuna osatzen dute. L3VPN bideratzaile pare baterako, horrelako teknologiak ez dira erabiltzen, ez baita L2 erredundantziarik behar; nahikoa da elkarren artean L2 konektibitatea izatea agregazio etengailuen bidez.
Ezartzeko aukerak
Gertaera gehiagorako aukerak aztertzean, lan hau aurrera eramateko hainbat modu daudela konturatu ginen. Sare lokal osoan etenaldi global batetik, sareko zati batzuetan literalki 1-2 segundoko etenaldi txikietaraino.
Sarea, gelditu! Etengailuak, ordezkatu!
Modurik errazena, noski, POD guztietan eta DCI zerbitzu guztietan komunikazio etenaldi global bat deklaratzea da eta etengailuetatik esteka guztiak aldatzea. Π etengailuetara N.
Etenaldiaz gain, zeinen denbora ezin dugu fidagarritasunez aurreikusi (bai, badakigu zenbat esteka, baina ez dakigu zenbat aldiz okertuko den zerbait - hautsitako kable batetik edo hondatutako konektore batetik ataka edo transzeiver akastun batera). ), oraindik ezin dugu aldez aurretik aurreikusi adabaki kableen, DAC, AOC, A etengailu zaharretara konektatuta dauden ala ez, nahikoa izango den N etengailu berrietara iristeko, ondoan egon arren, baina oraindik pixka bat. alboan, eta transceptor berdinek funtzionatuko duten /DAC/AOC Brocade etengailuetatik Arista etengailuetara.
Eta hori guztia bezeroen eta laguntza teknikoaren presio gogorraren baldintzetan (βNatasha, altxa! Natasha, dena ez dabil hor! Natasha, dagoeneko idatzi dugu laguntza teknikora, egia esan! Natasha, dagoeneko dena jaitsi dute. ! Natasha, zenbat gehiago ez ditugu funtzionatuko? Natasha, noiz funtzionatuko du?!"). Nahiz eta aldez aurretik iragarritako etenaldia eta bezeroei jakinarazpena egin, une horretan eskaerak ugaritzea bermatuta dago.
Gelditu, 1-2-3-4!
Zer gertatzen da eten global bat deklaratzen ez badugu, baizik eta POD eta DCI zerbitzuetarako komunikazio-etenaldi txiki batzuk iragartzen baditugu. Lehenengo atsedenaldian, aldatu etengailuetara N bakarrik POD 1, bigarrenean - pare bat egunetan - POD 2, gero egun pare bat gehiago POD 3, Aurrerago POD 4β¦[N], gero VXLAN etengailuak eta gero L3VPN bideratzaileak.
Aldaketa-lanaren antolaketa honekin, behin-behineko lanaren konplexutasuna murrizten dugu eta arazoak konpontzeko denbora handitzen dugu bat-batean zerbait gaizki ateratzen bada. POD 1 beste POD eta DCI batzuetara konektatuta jarraitzen du aldatu ondoren. Baina lana bera denbora luzez luzatzen da; datu-zentroan lan horretan, ingeniari bat behar da fisikoki aldatzea eta lanean zehar (eta lan hori, oro har, gauez egiten da, 2etatik aurrera). 5:2etara), sareko sareko ingeniari baten presentzia behar da nahiko maila altuko kualifikazioetan. Baina gero komunikazio-etenaldi laburrak izaten ditugu; normalean, lana ordu erdiko epean egin daiteke 20 minutuko atsedenarekin (praktikan, askotan 30-XNUMX segundo ekipamenduaren espero den portaerarekin).
Bezero adibidean Π‘1 edo bezeroa Π‘2 Gutxienez hiru aldiz komunikazio etenarekin lanari buruz ohartarazi beharko duzu - POD batean lana egiteko lehen aldian, zeinetan zerbitzarietako bat dagoen, bigarrenean - bigarrenean eta hirugarrenean - noiz. DCI zerbitzuetarako ekipoak aldatzea.
Komunikazio-kanal agregatuak aldatzea
Zergatik ari gara hitz egiten ekipoen espero den portaeraz, eta nola aldatu daitezkeen kanal agregatuak komunikazio-etenaldia gutxituz? Imajina dezagun hurrengo irudia:
Estekaren alde batean POD banaketa etengailuak daude - D1 ΠΈ D2, MLAG bikotea osatzen dute elkarren artean (pila, VCS fabrika, vPC bikotea), bestalde bi esteka daude - Esteka 1 ΠΈ Esteka 2 - MLAG agregazio etengailu zaharren parean sartuta Π. Etengailuaren aldean D izenarekin bateratutako interfazea Portu-kanala A, agregazio etengailuen aldean Π - izenarekin bateratutako interfazea Portu-kanala D.
Interfaze agregatuek LACP erabiltzen dute beren funtzionamenduan, hau da, bi aldeetako etengailuek aldizka trukatzen dituzte bi esteketan LACPDU paketeak estekak direla ziurtatzeko:
- lanean;
- urruneko aldean dauden gailu pare batean sartuta.
Paketeak trukatzean, paketeak darama balioa sistema-id, esteka hauek sartzen diren gailua adieraziz. MLAG bikote baterako (pila, fabrika, etab.), interfaze agregatua osatzen duten gailuen sistema-id balioa berdina da. Aldatu D1 helbidera bidaltzen du Esteka 1 balioa sistema-id D, eta aldatu D2 helbidera bidaltzen du Esteka 2 balioa sistema-id D.
Etengailuak A1 ΠΈ A2 aztertu Po D interfaze batean jasotako LACPDU paketeak eta egiaztatu haietako sistema-id bat datorren ala ez. Esteka batzuen bidez jasotako sistemaren IDa bat-batean desberdina bada egungo balio operatibotik, gero esteka hau interfaze agregatutik kenduko da egoera zuzendu arte. Orain gure aldaketaren aldean D LACP bazkidearen egungo sistema-id balioa - A, eta etengailuaren aldean Π β LACP bazkidearen egungo sistema-id balioa β D.
Interfaze agregatua aldatu behar badugu, bi modu ezberdinetan egin dezakegu:
1. metodoa - Sinplea
Desgaitu bi estekak A etengailuetatik. Kasu honetan, kanal agregatuak ez du funtzionatzen.
Konektatu bi estekak banan-banan etengailuetara N, orduan LACP funtzionamendu-parametroak berriro negoziatuko dira eta interfazea osatuko da Po D etengailuetan N eta baloreen transmisioa esteketan sistema-ID N.
2. metodoa - Etenaldia gutxitzea
Deskonektatu 2. lotura A2 etengailutik. Aldi berean, arteko trafikoa Π ΠΈ D esteka baten bidez transmititzen jarraituko du, interfaze agregatuaren parte izaten jarraituko du.
Konektatu Link 2 N2 aldatzeko. Etengailuan N interfaze agregatua dagoeneko konfiguratuta dago Po DN, eta aldatu N2 LACPDUra igortzen hasiko da sistema-ID N. Fase honetan dagoeneko egiaztatu dezakegu etengailua dela N2 behar bezala funtzionatzen du erabiltzen den transceptorarekin Esteka 2, konexio ataka egoeran sartu dela Up, eta ez dela errorerik gertatzen konexio atakan LACPDUak transmititzean.
Baina aldaketa hori D2 interfaze agregatu baterako Po A albotik 2. estekak sistema-id N balio bat jasotzen du uneko sistema eragilearen ID A balioarekin alderatuta, ez du etengailurik onartzen D sartzen Esteka 2 interfaze agregatuaren zati bat Po A. Aldatu N ezin sartu Esteka 2 martxan jarri, ez baitu etengailuaren LACP bazkidearen funtzionagarritasunaren berrespena jasotzen D2. Ondorioz trafikoa da Esteka 2 ez pasatzea.
Eta orain esteka 1 desaktibatzen dugu A1 etengailutik, horrela etengailuak kenduz Π ΠΈ D interfaze agregatua lan egiteko. Beraz, etengailuaren aldean D interfazearen egungo sistema-id balioa desagertzen da Po A.
Horrek etengailuak ahalbidetzen ditu D ΠΈ N sistema-id trukatzea onartu AN interfazeetan Po A ΠΈ Po DN, trafikoa loturan zehar transmititzen has dadin Esteka 2. Kasu honetan etenaldia, praktikan, 2 segundokoa da.
Eta orain erraz alda dezakegu Link 1 N1 aldatzeko, interfazearen erredundantzia-ahalmena eta maila berreskuratuz Po A ΠΈ Po DN. Esteka hau konektatzen denean, uneko sistema-id balioa ez da bi aldeetatik aldatzen, ez dago etenik.
Esteka osagarriak
Baina aldatzea aldatzeko unean ingeniaririk egon gabe egin daiteke. Horretarako, aldez aurretik banaketa-etengailuen arteko lotura osagarriak ezarri beharko ditugu D eta agregazio etengailu berriak N.
Lotura berriak jartzen ari gara agregazio etengailuen artean N eta POD guztien banaketa-etengailuak. Honek adabaki kable osagarriak eskatu eta jartzea eta transceptor gehigarriak instalatzea eskatzen du N, eta D. Hau egin dezakegu gure etengailuetan D POD bakoitzak portu libreak ditu (edo aldez aurretik askatzen ditugu). Ondorioz, POD bakoitza fisikoki lotuta dago bi loturen bidez A etengailu zaharretara eta N etengailu berrietara.
Etengailuan D bi interfaze agregatu eratu dira - Po A estekekin Esteka 1 ΠΈ Esteka 2Eta Po N - estekekin Esteka N1 ΠΈ Esteka N2. Fase honetan, interfazeen eta esteken konexio zuzena egiaztatzen dugu, esteken bi muturretako seinale optikoen mailak (etengailuetako DDM informazioaren bidez), kargapean estekaren errendimendua egiaztatu edo egoerak kontrolatu ditzakegu. seinale optikoak eta transceptor tenperatura pare bat egunez.
Trafikoa interfazearen bidez bidaltzen da oraindik Po A, eta interfazea Po N ez du trafikorik kostatzen. Interfazeetako ezarpenak honelakoak dira:
Interface Port-channel A
Switchport mode trunk
Switchport allowed vlan C1, C2
Interface Port-channel N
Switchport mode trunk
Switchport allowed vlan noneD etengailuek, normalean, saioaren birkonfigurazioa onartzen dute; funtzionalitate hori duten etengailu-ereduak erabiltzen dira. Beraz, Po A eta Po N interfazeen ezarpenak urrats batean alda ditzakegu:
Configure session
Interface Port-channel A
Switchport allowed vlan none
Interface Port-channel N
Switchport allowed vlan C1, C2
CommitOrduan konfigurazio aldaketa nahikoa azkar gertatuko da, eta etenaldia, praktikan, ez da 5 segundo baino gehiagokoa izango.
Metodo honek aukera ematen digu aldez aurretik prestaketa-lan guztiak burutzeko, beharrezko egiaztapen guztiak egiteko, prozesuan parte-hartzaileekin lana koordinatzeko, lana egiteko ekintzak zehatz-mehatz aurreikusteko, sormen hegaldirik gabe "dena gaizki atera zenean". β, eta esku artean izan aurreko konfiguraziora itzultzeko plana. Plan honen araberako lana sareko ingeniari batek egiten du aldaketa fisikoa egiten duen datu-zentroko ingeniaririk egon gabe.
Aldaketa metodo honekin ere garrantzitsua dena esteka berri guztiak aldez aurretik kontrolatzen direla da. Akatsak, estekak unitatean sartzea, estekak kargatzea - ββbeharrezko informazio guztia monitorizazio sisteman dago dagoeneko, eta hori mapetan marraztuta dago jada.
D-Day
POD
Bezeroentzako aldatzeko bide mingarriena eta esteka gehigarriekin "zerbait gaizki joan" izateko joera gutxien duena aukeratu dugu. Beraz, POD guztiak agregazio etengailu berrietara aldatu genituen gau pare batean.
Baina DCI zerbitzuak eskaintzen dituen ekipamendua aldatzea besterik ez da geratzen.
L2
L2 konektibitatea ematen duten ekipoen kasuan, ezin izan dugu antzeko lanik egin lotura osagarriekin. Gutxienez bi arrazoi daude horretarako:
- VXLAN etengailuetan behar den abiaduraren portu libreen falta.
- VXLAN etengailuetan saioaren konfigurazio-aldaketaren funtzionaltasun falta.
Ez ditugu estekak "bananean" aldatu eten batekin soilik sistema-id bikote berri bat adosten genuen bitartean, ez baikenuen %100eko konfiantza prozedura behar bezala joango zenik, eta laborategian egindako proba batek frogatu zuen kasuan, "zerbait gaizki gertatzen bada", oraindik konexio eten bat izaten dugu, eta okerrena ez da beste datu-zentro batzuekin L2 konexioa duten bezeroentzat bakarrik, baizik eta datu-zentro honetako bezero guztientzat oro har.
Propaganda lana egin genuen L2 kanaletatik igarotzean, beraz, VXLAN etengailuen lanek eragindako bezeroen kopurua duela urtebete baino hainbat aldiz txikiagoa zen jada. Ondorioz, L2 konexio-zerbitzuaren bidez komunikazioa etetea erabaki genuen, betiere sare lokaleko zerbitzuen funtzionamendu normala datu-zentro batean mantentzen badugu. Horrez gain, zerbitzu honen SLAk programatutako lanak etenekin egiteko aukera ematen du.
L3
Zergatik gomendatu genion guztiei L3VPNra aldatzea DCI zerbitzuak antolatzerakoan? Arrazoietako bat da zerbitzu hori ematen duten bideratzaileetako batean lanak egiteko gaitasuna, erredundantzia maila N+0ra murriztuz, komunikazioa eten gabe.
Ikus ditzagun arretaz zerbitzua emateko eskema. Zerbitzu honetan, L2 segmentua bezero zerbitzarietatik L3VPN Selectel bideratzaileetara doa soilik. Bezero-sarea bideratzaileetan amaitzen da.
Bezero zerbitzari bakoitzak, adibidez. S2 ΠΈ S3 goiko diagraman, beren IP helbide pribatuak dituzte - 10.0.0.2/24 S2 zerbitzarian ΠΈ 10.0.0.3/24 S3 zerbitzarian. Helbideak 10.0.0.252/24 ΠΈ 10.0.0.253/24 Selectelek bideratzaileei esleitutakoa L3VPN-1 ΠΈ L3VPN-2, hurrenez hurren. IP helbidea 10.0.0.254/24 VRRP VIP helbide bat da Selectel bideratzaileetan.
L3VPN zerbitzuari buruzko informazio gehiago jaso dezakezu gure blogean.
Aldatu aurretik, dena gutxi gorabehera diagraman bezala ikusten zen:
Bi bideratzaile L3VPN-1 ΠΈ L3VPN-2 agregazio etengailu zaharrera konektatuta zeuden Π. 10.0.0.254 VRRP VIP helbidearen maisua bideratzailea da L3VPN-1. Helbide honek bideratzaileak baino lehentasun handiagoa du L3VPN-2.
unit 1006 {
description C2;
vlan-id 1006;
family inet {
address 10.0.0.252/24 {
vrrp-group 1 {
priority 200;
virtual-address 10.100.0.254;
preempt {
hold-time 120;
}
accept-data;
}
}
}
}S2 zerbitzariak 10.0.0.254 atea erabiltzen du beste kokapen batzuetako zerbitzariekin komunikatzeko. Horrela, L3VPN-2 bideratzailea saretik deskonektatzeak (noski, lehenik MPLS domeinutik deskonektatzen bada) ez du bezeroaren zerbitzarien konektibitateari eragiten. Une honetan, zirkuituaren erredundantzia maila besterik gabe murrizten da.
Honen ondoren bideratzailea segurtasunez berriro konektatu dezakegu L3VPN-2 etengailu pare batera N. Jarri loturak, aldatu transceptores. Bideratzailearen interfaze logikoak, zeinen menpe dauden bezeroen zerbitzuen funtzionamendua, desgaituta daude dena behar bezala funtzionatzen ari dela baieztatu arte.
Interfazeetako estekak, transceptoresak, seinale-mailak eta errore-mailak egiaztatu ondoren, bideratzailea martxan jartzen da, baina dagoeneko etengailu pare berri batera konektatuta dago.
Ondoren, L3VPN-1 bideratzailearen VRRP lehentasuna jaitsiko dugu eta 10.0.0.254 VIP helbidea L3VPN-2 bideratzailera eramaten da. Lan hauek komunikazioa eten gabe ere egiten dira.
10.0.0.254 VIP helbidea bideratzailera transferitzen L3VPN-2 bideratzailea desgaitzeko aukera ematen du L3VPN-1 bezeroarentzako komunikazioa eten gabe eta konektatu agregazio etengailu pare berri batera N.
VRRP VIP L3VPN-1 bideratzaileari itzultzea ala ez beste galdera bat da, eta itzultzen bada ere, konexioa eten gabe egiten da.
Guztira
Urrats hauen guztien ondoren, gure datu-zentroetako agregazio-etengailuak ordezkatu genituen, gure bezeroentzako etenaldiak minimizatuz.
Geratzen dena desegitea da. Etengailu zaharrak desegitea, A eta D etengailuen arteko lotura zaharrak desegitea, esteka hauetatik transceptoresak desmuntatzea, monitorizazioaren zuzenketa, sare-eskemak zuzentzea dokumentazioan eta monitorizazioan.
Etengailuak, transceptoresak, adabaki kableak, AOC, DAC beste proiektu batzuetan aldatu ondoren edo antzeko beste aldaketa batzuk erabil ditzakegu.
"Natasha, dena aldatu dugu!"
Iturria: www.habr.com