A helyi hálózati aggregációnkban hat pár Arista DCS-7050CX3-32S kapcsoló és egy pár Brocade VDX 6940-36Q kapcsoló volt. Nem voltak nagy problémáink a Brocade kapcsolókkal ebben a hálózatban, működtek és ellátták funkcióikat, de teljes automatizációra készülöttünk, amit ezeken a kapcsolókon nem tudtunk megvalósítani. Ezen kívül szerettünk volna áttérni a 40GE interfészekről a 100GE használatára, hogy tartalékot képezzünk a következő 2-3 évre. Így hát úgy döntöttünk, hogy Brocade-ot Aristára cseréljük.
Ezek a kapcsolók minden adatközpont számára helyi hálózati aggregáló kapcsolók. Közvetlenül csatlakoznak hozzájuk a disztribúciós kapcsolók (a második aggregációs szint), amelyek már összegyűjtik a Top-of-Rack kapcsolókat a szerverek rackjeiben.
Minden szerver be van kapcsolva egy vagy két hozzáférési kapcsolóba. A hozzáférési kapcsolók egy pár disztribúciós kapcsolóra csatlakoznak (két disztribúciós kapcsoló és két fizikai vonal a hozzáférési kapcsolótól a különböző disztribúciós kapcsolókhoz a redundancia érdekében).
Minden szerver a saját ügyfele által használható, így az ügyfél számára külön VLAN-t rendelnek hozzá. Ez a VLAN aztán rögzíthető egy másik ügyfél szerverén bármelyik rackben. Az adatközpont több ilyen sorból (POD-okból) áll, mindegyik rack-sornak saját disztribúciós kapcsolói vannak. Ezeket a disztribúciós kapcsolókat aztán csatlakoztatják az aggregáló kapcsolókhoz.
Az ügyfelek bármelyik sorban rendelhetnek szervert, előre megjósolni, hogy a szerver ki lesz jelölve vagy telepítve egy adott sorban egy adott rackbe, nem lehet, ezért az aggregáló kapcsolókon körülbelül 2500 VLAN található minden adatközpontban.
A DCI (Data-Center Interconnect) berendezések csatlakoznak az aggregáló kapcsolókhoz. Ezek szolgálhatnak L2-kapcsolatra (egy pár kapcsoló, amely VXLAN-alagutat képez egy másik adatközpontra), valamint L3-kapcsolatra (két MPLS-router).
Ahogy már írtam, az automatizálás folyamatainak egységesítéséhez a szolgáltatások konfigurálására egy adatközpontban szükség volt a központi aggregáló kapcsolók cseréjére. Új kapcsolókat telepítettünk a meglévők mellé, MLAG párba állítottuk őket, és elkezdtük az előkészületeket. Azonnal összekapcsolták a meglévő aggregáló kapcsolókkal, így közös L2 doménjük lett az összes ügyfél VLAN-nal.
A séma részletei
Pontosság kedvéért nevezzük meg a régi aggregáló kapcsolókat A1 és A2, az újakat pedig — N1 és N2. Tegyük fel, hogy a POD 1 és POD 4 helyen egy ügyfél szerverei találhatók C1, az ügyfél VLAN-ját kék színnel jelöljük. Ez az ügyfél L2 kapcsolatot használ egy másik adatközponttal, ezért VLAN-ja a VXLAN kapcsolók párjára van vezetve.
Ügyfél C2 szervereket helyez el a POD 2 és POD 3, az ügyfél VLAN-ját sötétzöld színnel jelöljük. Ez az ügyfél is kapcsolatot használ egy másik adatközponttal, de L3-t, így VLAN-ja a L3VPN routerek párjára van vezetve.
Az ügyfél VLAN-ok segítenek megérteni, hogy a csere munkálatainak mely szakaszaiban mi történik, hol lép fel a kapcsolat megszakadása, és mennyi ideig tarthat ez. Az STP protokoll ebben a sémában nem használható, mivel a fája szélessége ilyenkor nagy, és a protokoll konvergenciája geometrikus arányban nő az eszközök és az azok közötti kapcsolatok számával.
Minden eszköz, amely dupla linkeken kapcsolódik, köteget, MLAG párt vagy VCS Ethernet gyárat alkot. L3VPN routerek párja esetén hasonló technológiákat nem használnak, mivel nincs szükség L2 replikálásra, elegendő, ha van L2 kapcsolatuk egymással az aggregáló kapcsolókon keresztül.
Megvalósítási lehetőségek
Az események további lehetőségeinek elemzése során rájöttünk, hogy több módja van a munkálatok elvégzésének. A globális megszakítástól a teljes helyi hálózaton, a kis, mindössze 1-2 másodperces megszakításokig a hálózat részeiben.
Hálózat, állj meg! Kapcsolók, cseréljétek ki magatokat!
A legegyszerűbb módszer természetesen az, hogy globális kapcsolatmegszakítást hirdetünk meg az összes POD-ot és az összes DCI szolgáltatást tekintve, és átállítjuk az összes linket a kapcsolókról A kapcsolókra N.
A megszakításon kívül, amelynek időpontját nem tudjuk garantálni (igen, tudjuk, hány összeköttetés van, de nem tudjuk, hányszor fog valami hibásan működni - a törött patch kábel vagy sérült csatlakozó miatt, egészen a port vagy transceiver meghibásodásáig), nem tudjuk előre megmondani, hogy elegendő-e a patch kábelek, DAC, AOC hossza a régi A switch-ekbe csatlakoztatva, hogy elérjék az új N switch-eket, még ha közel is vannak, de azért mégis kicsit távolabb, és hogy a Brocade switch-ekből származó ugyanazok a transceiverek/DAC/AOC működni fognak-e az Arista switch-ekbe.
És mindezek közepette a kliensek és a technikai támogatás szigorú nyomása alatt állunk („Natasa, kelj fel! Natasa, semmi sem működik! Natasa, már írtunk a technikai támogatásnak, komolyan! Natasa, már mindent leállítottunk! Natasa, mennyi idő múlva fog újra működni? Natasa, mikor fog működni?!”). Még a bejelentett leállítás és az értesítések ellenére is a kérdések áramlása garantált ilyenkor.
Állj, 1-2-3-4!
És ha nem hirdetnénk meg a globális szünetet, hanem bevezetnénk egy sor kis megszakítást a POD és DCI szolgáltatásokhoz? Az első szünetben kapcsoljuk le a switch-eket N a fő DB példányhoz POD 1, a másodikban - néhány nappal később - POD 2, majd újabb néhány nappal később POD 3, aztán POD 4…[N], majd a VXLAN switch-ek és végül az L3VPN routerek.
Ezzel a kapcsolási dolgozatok megszervezésével csökkentjük az egyidejű feladatok bonyolultságát és több időt nyerünk a problémák megoldására, ha valami hirtelen nem működik. A POD 1 összeköttetése más POD-okkal és DCI-vel a kapcsolás után nem szakad meg. De maguk a munkák sokáig eltartanak, ezek alatt a munkák alatt szükséges egy mérnök a fizikai kapcsolások végrehajtására a adatközpontban, és a munkák során (melyeket jellemzően éjszaka hajtanak végre, 2 és 5 óra között) egy online hálózati mérnök jelenléte is szükséges, akinek elég magas szintű képesítése van. Viszont így rövid megszakításokat kapunk, jellemzően a munkák fél órás időintervallumban végezhetők el, legfeljebb 2 perces megszakítással (a gyakorlatban gyakran 20-30 másodperces várakozással a berendezés várt viselkedése mellett).
A példa szerint az ügyfél C1 vagy az ügyfél C2 Figyelmeztetni kell a szünettel járó munkálatokról legalább három alkalommal — első alkalommal az egyik POD-nál végzett munkálatokról, amelyben egy szerver található, második alkalommal a második POD-nál, és harmadik alkalommal a DCI szolgáltatásokhoz szükséges berendezések átkapcsolásáról.
Aggregált kapcsolatáthelyezés
Miért beszélünk a berendezések várható működéséről, és hogyan lehet minimális kapcsolati szünet mellett átkapcsolni az aggregált kapcsolatokat. Képzeljünk el egy következő helyzetet:
A link egyik oldalán — POD elosztó kapcsolók — D1 és D2, ezek MLAG-párt (stacket, VCS-gyárat, vPC-párt) alkotnak, a másik oldalon pedig két link — Link 1 és Link 2 — az összesített kapcsolók MLAG-párjához csatlakozik A. A kapcsolók oldalán D aggregált interfész alakult ki a következő nevű interfésszel: Port-channel A, a kapcsolók aggregáló oldalán A — aggregált interfész a következő néven: Port-channel D.
Az aggregált interfészek az LACP-t használják a munkájuk során, tehát a kapcsolók mindkét oldalon rendszeresen LACPDU csomagokat cserélnek, hogy megbizonyosodjanak róla, hogy a linkek:
- működnek;
- be vannak kapcsolva egy pár készülékbe a távoli oldalon.
A csomagok átküldése során egy értéket továbbítanak, system-id, amely a készülékhez tartozik, ahol ezek a linkek csatlakoznak. Az MLAG-pár (stack, gyár stb.) esetében a system-id értéke az aggregált interfészt alkotó készülékeknél azonos. A kapcsoló D1 továbbítja a Link 1 értéket system-id D, és a kapcsoló D2 továbbítja a Link 2 értéket system-id D.
A kapcsolók A1 és A2 elemzik az egy Po D interfészen érkező LACPDU csomagokat, és ellenőrzik a system-id egyezőségét. Ha a valamilyen linken érkező system-id hirtelen eltér a jelenlegi működő értéktől,akkor ez a link lekerül az aggregált interfész összetételéből a helyzet javításáig. Jelenleg a kapcsolók oldalán D a partner LACP-től kapott jelenlegi system-id érték — A, míg a kapcsolók oldalán A — a partner LACP-től kapott jelenlegi system-id érték — D.
Az aggregált interfész átkapcsolásának szükségességekor két különböző módon járhatunk el:
1. módszer — Egyszerű
Mindkét linket lekapcsolni A kapcsolókból.Ekkor az aggregált csatorna nem működik.
Mindkét linket felváltva a kapcsolókhoz csatlakoztatni, Nakkor újra megtörténik az LACP paraméterek egyeztetése, az interfész formálása Po D a kapcsolókban N és az értékek továbbítása a linkeken. system-id N.
2. módszer — A megszakítás minimalizálása
Kapcsolja ki a Link 2-t az A2 switchből. Ezzel a forgalom továbbra is A és D csak az aggregált interfészen maradó egyik linken keresztül fog folytatódni.
Csatlakoztassa a Link 2-t az N2 switchhez. A switchen már be van állítva az aggregált interfész N Po DN elkezdi az LACPDU-t továbbítani, és a kapcsoló N2 . Ezen a ponton már ellenőrizhetjük, hogy a switch system-id Nhelyesen működik a transzceiverrel, amelyet N2 használunk, hogy a csatlakozó port Link 2állapotba kerüljön Fent, és hogy az LACPDU továbbítása során nem lépnek fel hibák a csatlakozó porton.
De az a tény, hogy a switch D2 az aggregált interfészhez Po A azt a Link 2-t kapja, amelynek a system-id N értéke eltér az aktuális munkához tartozó system-id A értéktől , nem teszi lehetővé a switch-ek számárahogy D bevezessenek Link 2 az aggregált interfészbe. Po AA switch N nem tudja aktiválni Link 2 mivel nem kap megerősítést a switch LACP partnerétől D2. Végül a forgalom a Link 2 nem kerül továbbításra.
Most kapcsolja ki a Link 1-et az A1 switchből, ezzel megfosztva a switch-eket A és D a működő aggregált interfésztől. Így a switchen D meg fog szűnni az aktuális munkához tartozó system-id értéke az interfészen. Po A.
Ez lehetővé teszi a switch-ek számára D és N hogy egyesüljenek a system-id kicserélésében A-N az interfészeken, Po A és elkezdi az LACPDU-t továbbítaniígy a forgalom elkezdődik a vonalon Link 2. A megszakítás ilyen esetben a gyakorlatban legfeljebb 2 másodperc.
Most már nyugodtan átkapcsolhatja a Link 1-et az N1 switchre, helyreállítva az interfészek kapacitását és tartalék szintjét. Po A és elkezdi az LACPDU-t továbbítani. Mivel a linkhez való csatlakozásnál az aktuális system-id értéke egyik oldalon sem változik, így nincs megszakítás.
További linkek
De az átkapcsolást mérnök jelenléte nélkül is el lehet végezni az átkapcsolás pillanatában. Ehhez előre kell telepítenünk további linkeket a disztribúciós switch-ek között D és az új aggregáló switch-ek között. N.
Új linkeket hozunk létre az aggregáló switch-ek és a disztribúciós switch-ek között minden POD-ban. Ez extra patch kábelek rendelését és telepítését, valamint további transzceiverek installációját igényli N . Ezt úgy tudjuk megtenni, hogy minden POD switchében van szabad port (vagy előzetesen felszabadítjuk őket). N-ban, valamint a DEzt meg tudjuk csinálni, mert a switch-eink D minden POD-jában rendelkeznek szabad portokkal. Végezetül minden POD fizikailag két linkkel csatlakozik a régi A switch-ekhez és az új N switch-ekhez.
A switch-en D két aggregált interfész lett kialakítva — Po A linkekkel Link 1 és Link 2, és a Po N — linkekkel Link N1 és Link N2. Ezen a ponton ellenőrizzük az interfészek és linkek helyes csatlakoztatását, az optikai jelek szintjeit a linkek mindkét végén (a switch-ek DDMI-információja alapján), sőt, a link működőképességét terhelés alatt is ellenőrizhetjük, vagy figyelhetjük az optikai jelek állapotát és a transzceiverek hőmérsékletét néhány napon keresztül.
A forgalom továbbra is az interfészen keresztül áramlik Po A, míg az interfész Po N forgalom nélkül áll. Az interfészek beállításai körülbelül a következőképpen alakulnak:
Interface Port-channel A
Switchport mode trunk
Switchport allowed vlan C1, C2
Interface Port-channel N
Switchport mode trunk
Switchport allowed vlan noneA D switch-ek általában támogatják a konfigurációs módosítások során végzett munkameneteket, és az ilyen funkcióval rendelkező switch modellek kerülnek felhasználásra. Tehát Po A és Po N interfészek beállításainak módosítása egy lépésben is elvégezhető:
Configure session
Interface Port-channel A
Switchport allowed vlan none
Interface Port-channel N
Switchport allowed vlan C1, C2
CommitEkkor a konfiguráció módosítása meglehetősen gyorsan megtörténik, és a tényleges leállás nem haladja meg az 5 másodpercet.
Ez a módszer lehetővé teszi számunkra, hogy minden előkészítési munkát előre elvégezzünk, minden szükséges ellenőrzést elvégezzünk, egyeztessük a munkálatokat a folyamat résztvevőivel, részletesen megtervezzük a munkálatok végrehajtását, kreatív „hibák” nélkül, amikor „minden félresiklott”, és legyen nálunk a korábbi konfigurációra való visszatérési terv. E szerint a terv szerint a munkát hálózati mérnök végzi el a dátumközpont mérnökének jelenléte nélkül, aki fizikailag végzi a váltásokat.
Ami még fontos e váltási módszer mellett — az összes új link már előre be van állítva monitorozásra. A hibák, a linkek aggregációba való bekapcsolása, a linkek terhelése — minden szükséges információ már benne van a monitorozó rendszerben, és ez már megjelenik a térképeken.
D-Day
POD
A legkevésbé fájdalmas, a legkevésbé valószínű variációkkal „valami nem ment jól” megközelítést választottuk az új linkekkel végzett váltásokhoz. Így néhány estén belül az összes POD-ot új aggregátor switch-ekre váltottuk.
De még át kell állítani a DCI szolgáltatásokat biztosító berendezéseket.
L2
L2-kapcsolatot biztosító berendezések esetében nem tudtunk hasonló munkát végezni a kiegészítő linkekkel. Ennek legalább két oka van:
- A szükséges sebességű szabad portok hiánya a VXLAN switch-eken.
- A VXLAN switch-eken a konfigurációs változtatás session-alapú funkcionalitásának hiánya.
Nem végeztük el a linkek egyesével történő váltását, csak a new system-id pár összehangolásának idejére, mivel nem volt 100%-os bizonyítékunk arra, hogy a folyamat zökkenőmentesen zajlik, és a laboratóriumi teszt azt mutatta, hogy ha "valami nem stimmel", akkor a kapcsolat megszakad, és ami a legrosszabb — nemcsak azok a kliensek sérülnek, akik L2 kapcsolatban állnak más adatközpontokkal, hanem az összes kliens ebben az adatközpontban.
Előre végrehajtottuk az L2 csatornákról való áttérés kampányát, így a VXLAN switch-eken végzett munkák által érintett kliensek száma már jóval alacsonyabb volt, mint egy évvel ezelőtt. Végül úgy döntöttünk, hogy L2-kapcsolati szolgáltatásban megszakítjuk a kapcsolatot, feltéve, hogy megőrizzük a helyi hálózati szolgáltatások normális működését egyetlen adatközpontban. Ráadásul az SLA a szolgáltatásra vonatkozóan előirányozza a tervezett munkák végrehajtásának lehetőségét a megszakítás során.
L3
Miért javasoltuk mindenkinek, hogy L3VPN-re váltson a DCI szolgáltatások szervezésekor? Az egyik ok az, hogy lehetőség van munkát végezni az egyik routeren, amely ezt a szolgáltatást nyújtja, egyszerűen az N+0 szintre csökkentve a tartalékot, kapcsolatmegszakítás nélkül.
Nézzük meg közelebbről a szolgáltatás nyújtásának sémáját. Ebben a szolgáltatásban az L2 szegmens a kliens szerverektől egészen az L3VPN routerekig terjed a Selectelnél. A routereken a kliens hálózat terminálódik.
Minden kliens szerver, például S2 és S3 a megadott sémában saját privát IP address — 10.0.0.2/24 az S2 szerveren és 10.0.0.3/24 az S3 szerveren. A címek 10.0.0.252/24 és 10.0.0.253/24 a Selectel oldaláról vannak hozzárendelve a routerekhez L3VPN-1 és L3VPN-2, a megfelelően. Az IP-cím 10.0.0.254/24 egy VRRP VIP cím a Selectel routereken.
Részletesebben a L3VPN szolgáltatásról a blogunkban olvashat.
A váltás előtt minden nagyjából így nézett ki, mint a sémán:
Két router L3VPN-1 és L3VPN-2 a régi aggregáló switch-hez csatlakozott A. A VRRP VIP cím 10.0.0.254 mestere a router L3VPN-1A cím prioritása magasabb, mint a routeré. L3VPN-2.
unit 1006 {
description C2;
vlan-id 1006;
family inet {
address 10.0.0.252/24 {
vrrp-group 1 {
priority 200;
virtual-address 10.100.0.254;
preempt {
hold-time 120;
}
accept-data;
}
}
}
}Az S2 szerver más helyeken lévő szerverekkel való kommunikációhoz a 10.0.0.254 átjárót használja. Így a L3VPN-2 router leválasztása (természetesen először az MPLS-domainből való leválasztása után) nem befolyásolja az ügyfélszerverek kapcsolódását. Ezen a ponton egyszerűen csökken a rendszer redundanciája.
Ezek után nyugodtan újra csatlakoztathatjuk a routert. L3VPN-2 a két switchhez. N. Linkeket kell fektetni, transceivereket cserélni. A router logikai interfészei, amelyek függnek az ügyfélszolgáltatások működésétől, a megerősítés előtt, hogy minden rendben működik, le vannak kapcsolva.
A linkek, transceiverek, jel szintek és hibaszintek ellenőrzése után a routert munkába állítjuk, de már az új páros switchhez csatlakozva.
Ezután csökkentjük az L3VPN-1 router VRRP prioritását, és a VIP cím 10.0.0.254 átkapcsol az L3VPN-2 routerre. Ezeket a munkákat is megszakítás nélkül végezzük.
A VIP cím 10.0.0.254 átkapcsolása a routerre L3VPN-2 lehetővé teszi, hogy a routert L3VPN-1 megszakítás nélkül leválasszuk az ügyfél számára, és már az új aggregáló switch párosra csatlakoztassuk. N.
A VRRP VIP visszatérítése az L3VPN-1 routerre vagy sem - ez már egy másik kérdés, de ha visszatérítjük, az is megszakítás nélkül történik.
Összesen
Ezen műveletek után valóban kicseréltük az aggregáló switchket az egyik adatközpontunkban, minimálisra csökkentve ezzel az üzemszünetet az ügyfeleink számára.
Ezután csak a leszerelés marad. A régi switchk, a régi linkek leszerelése a switch A és D között, a transceiverek leszerelése ezekből a linkekből, a monitorozás javítása, a hálózati diagram javítása a dokumentációban és a monitorozásban.
A switchk, transceiverek, patch kábelek, AOC, DAC, amelyek megmaradtak az átkapcsolások után, más projektekben vagy hasonló átkapcsolásoknál felhasználhatóak.
„Natasa, mindent átkapcsoltunk!”
Forrás: habr.com
