U našoj agregaciji lokalne mreže imali smo šest pari preklopnika Arista DCS-7050CX3-32S i jedan par preklopnika Brocade VDX 6940-36Q. Nije da su nas pretjerano opteretili Brocade preklopnici u ovoj mreži, oni rade i obavljaju svoje funkcije, ali pripremali smo potpunu automatizaciju nekih radnji, a te mogućnosti nismo imali na ovim preklopnicima. Također sam htio prijeći sa 40GE sučelja na mogućnost korištenja 100GE kako bih napravio rezervu za sljedeće 2-3 godine. Pa smo odlučili promijeniti Brocade u Arista.
Ovi preklopnici su LAN agregacijski preklopnici za svaki podatkovni centar. Na njih su izravno spojeni distribucijski preklopnici (druga razina agregacije) koji već sastavljaju Top-of-Rack preklopnike lokalne mreže u regalima sa serverima.
Svaki poslužitelj je spojen na jedan ili dva pristupna preklopnika. Pristupne sklopke povezane su s parom distribucijskih sklopki (dvije distribucijske sklopke i dvije fizičke veze od pristupne sklopke do različitih distribucijskih sklopki koriste se za redundantnost).
Svaki poslužitelj može koristiti vlastiti klijent, tako da je klijentu dodijeljen zaseban VLAN. Isti VLAN se zatim registrira na drugom poslužitelju ovog klijenta u bilo kojem stalku. Podatkovni centar sastoji se od nekoliko takvih redova (POD-ova), svaki red regala ima svoje razdjelne sklopke. Zatim se ove distribucijske sklopke spajaju na sklopke agregacije.
Klijenti mogu naručiti poslužitelj u bilo kojem redu, nemoguće je unaprijed predvidjeti da će poslužitelj biti dodijeljen ili instaliran u određenom redu u određenom racku, zbog čega postoji oko 2500 VLAN-ova na agregacijskim preklopnicima u svakom podatkovnom centru.
Oprema za DCI (Data-Center Interconnect) spojena je na agregacijske sklopke. Može biti namijenjen za L2 povezivost (par preklopnika koji tvore VXLAN tunel prema drugom podatkovnom centru) ili za L3 povezivost (dva MPLS usmjerivača).
Kao što sam već napisao, za objedinjavanje procesa automatizacije konfiguracije servisa na opremi u jednom podatkovnom centru bilo je potrebno zamijeniti središnje sklopove agregacije. Postavili smo nove preklopnike pored postojećih, spojili ih u MLAG par i počeli se pripremati za rad. Odmah su povezani s postojećim sklopkama za agregaciju, tako da su imali zajedničku L2 domenu u svim klijentskim VLAN-ovima.
Detalji sklopa
Radi specifičnosti, nazovimo stare sklopke agregacije A1 и A2, novi - N1 и N2. Zamislimo to u POD 1 и POD 4 poslužitelji jednog klijenta su hostirani S1,VLAN klijenta označen je plavom bojom. Ovaj klijent koristi L2 uslugu povezivanja s drugim podatkovnim centrom, tako da se njegov VLAN dovodi do para VXLAN preklopnika.
kupac S2 ugošćuje poslužitelje POD 2 и POD 3,VLAN klijenta označen je tamnozelenom bojom. Ovaj klijent također koristi uslugu povezivanja s drugim podatkovnim centrom, ali L3, tako da se njegov VLAN dovodi na par L3VPN usmjerivača.
Potrebni su nam klijentski VLAN-ovi kako bismo razumjeli u kojim fazama zamjenskog rada što se događa, gdje dolazi do prekida komunikacije i koliko može trajati. STP protokol se ne koristi u ovoj shemi, jer je širina stabla za njega u ovom slučaju velika, a konvergencija protokola eksponencijalno raste s brojem uređaja i veza između njih.
Svi uređaji povezani dvostrukim vezama tvore stog, MLAG par ili VCS Ethernet tkaninu. Za par L3VPN usmjerivača takve tehnologije se ne koriste, jer nema potrebe za L2 redundancijom, dovoljno je da imaju L2 međusobnu povezanost preko agregacijskih preklopnika.
Mogućnosti implementacije
Prilikom analize opcija za daljnje događaje, shvatili smo da postoji nekoliko načina za izvođenje ovog posla. Od globalnog prekida na cijeloj lokalnoj mreži, do malih doslovno 1-2 sekundi prekida u dijelovima mreže.
Mreža, stani! Prekidači, zamijeni ih!
Najlakši način je, naravno, proglasiti globalni prekid komunikacije na svim POD-ovima i svim DCI uslugama i prebaciti sve veze sa prekidača А na prekidače N.
Osim prekida čije vrijeme ne možemo pouzdano predvidjeti (da, znamo broj linkova, ali ne znamo koliko će puta nešto poći po zlu - od puknutog patch kabela ili oštećenog konektora do neispravnog porta ili primopredajnika ), još uvijek ne možemo unaprijed predvidjeti hoće li duljina patch kabela, DAC, AOC, spojenih na stare prekidače A, biti dovoljna da ih dosegne do novih prekidača N, iako stoje pored njih, ali još uvijek malo strana, i hoće li isti primopredajnici raditi /DAC/AOC od Brocade preklopnika do Arista preklopnika.
I sve to u uvjetima žestokog pritiska kupaca i tehničke podrške (“Natasha, diži se! Natasha, tamo sve ne radi! Natasha, već smo pisali tehničkoj podršci, iskreno! Natasha, oni su već sve odustali) ! Natasha, koliko nas još nema, neće uspjeti? Natasha, kad će uspjeti?!"). Čak i unatoč unaprijed najavljenoj stanci i obavijesti klijentima, priljev zahtjeva u takvom trenutku je zajamčen.
Stani, 1-2-3-4!
Što ako ne objavimo globalnu stanku, već niz malih komunikacijskih prekida za POD i DCI usluge. Tijekom prve pauze prijeđite na prekidače N samo POD 1, u drugom - za par dana - POD 2, pa još par dana POD 3Dalje POD 4…[N], zatim VXLAN preklopnici i zatim L3VPN usmjerivači.
Ovakvom organizacijom preklopnog rada smanjujemo kompleksnost jednokratnog rada i produljujemo vrijeme za rješavanje problema ako nešto iznenada pođe po zlu. POD 1 ostaje povezan s drugim POD-ovima i DCI-ima nakon prebacivanja. Ali sam posao se dugo oteže, tijekom tog rada u podatkovnom centru potreban je inženjer koji će fizički izvršiti prespajanje, a tijekom rada (a takav se posao obavlja u pravilu noću, od 2. do 5 ujutro), potrebna je prisutnost online mrežnog inženjera na prilično visokoj razini kvalifikacija. Ali tada dolazi do kratkih prekida komunikacije, u pravilu se posao može obaviti unutar pola sata s pauzom do 2 minute (u praksi često 20-30 sekundi uz očekivano ponašanje opreme).
U primjeru klijenta S1 ili klijent S2 morat ćete upozoriti na rad s prekidom komunikacije najmanje tri puta - prvi put za rad na jednom POD-u, u kojem se nalazi jedan od njegovih poslužitelja, drugi put - na drugom, i treći put - kada sklopna oprema za DCI usluge.
Prebacivanje agregiranih komunikacijskih kanala
Zašto govorimo o očekivanom ponašanju opreme i kako se agregirani kanali mogu prebacivati uz minimiziranje prekida komunikacije? Zamislimo sljedeću sliku:
Na jednoj strani poveznice nalaze se POD distribucijski prekidači - D1 и D2, međusobno tvore MLAG par (stog, VCS tvornica, vPC par), s druge strane postoje dvije veze - Veza 1 и Veza 2 - uključeno u MLAG par starih prekidača agregacije А. Na strani prekidača D agregirano sučelje s imenom Lučki kanal A, na strani prekidača agregacije А - agregirano sučelje s imenom Lučki kanal D.
Agregirana sučelja koriste LACP u svom radu, odnosno preklopnici s obje strane redovito razmjenjuju LACPDU pakete na obje veze kako bi bili sigurni da veze:
- rad;
- uključen u jedan par uređaja na udaljenoj strani.
Prilikom razmjene paketa, paket nosi vrijednost sustav-id, označavajući uređaj na kojem su ove veze uključene. Za par MLAG (skup, tvornica itd.), vrijednost ID-a sustava za uređaje koji tvore agregirano sučelje je ista. Sklopka D1 šalje na Veza 1 vrijednost ID sustava D, i prebacite D2 šalje na Veza 2 vrijednost ID sustava D.
Prekidači A1 и A2 analizirati LACPDU pakete primljene preko jednog Po D sučelja i provjeriti podudara li se ID sustava u njima. Ako se ID sustava primljen putem neke veze iznenada razlikuje od trenutne radne vrijednosti, ta se poveznica uklanja iz agregiranog sučelja dok se situacija ne ispravi. Sada na našoj strani prekidača D trenutna vrijednost ID-a sustava od LACP partnera - A, i na strani prekidača А — trenutna vrijednost ID-a sustava od LACP partnera — D.
Ako trebamo promijeniti agregirano sučelje, to možemo učiniti na dva različita načina:
Metoda 1 - Jednostavna
Onemogućite obje veze s prekidača A. U ovom slučaju agregirani kanal ne radi.
Spojite obje veze jednu po jednu na prekidače N, tada će se ponovno dogovoriti LACP radni parametri i sučelje će se formirati PoD na prekidačima N i prijenos vrijednosti na linkovima ID sustava N.
Metoda 2 - Smanjite smetnje
Odvojite vezu 2 od sklopke A2. U isto vrijeme promet između А и D nastavit će se prenositi jednostavno preko jedne od veza, koja će ostati dio agregiranog sučelja.
Spojite vezu 2 na sklopku N2. Na prekidaču N agregirano sučelje je već konfigurirano Po DN, i prebacite N2 počet će slati u LACPDU ID sustava N. U ovoj fazi već možemo provjeriti je li prekidač N2 radi ispravno s primopredajnikom koji se koristi za Veza 2, da je port veze ušao u stanje Up, i da se ne pojavljuju pogreške na portu veze prilikom prijenosa LACPDU-ova.
Ali činjenica da je prekidač D2 za agregirano sučelje Po A sa strane Link 2 prima System-ID N vrijednost različitu od trenutne A operativne System-ID vrijednosti, ne dopušta prekidače D ući Veza 2 dio agregiranog sučelja Po A. Sklopka N ne mogu ući Veza 2 u rad, budući da ne prima potvrdu operativnosti od LACP partnera preklopnika D2. Rezultirajući promet je Veza 2 ne prolazeći.
A sada isključujemo vezu 1 s prekidača A1, čime su uskraćeni prekidači А и D radno agregatno sučelje. Dakle, na strani prekidača D trenutna radna vrijednost system-id za sučelje nestaje Po A.
To omogućuje prekidače D и N pristati na razmjenu ID-a sustava AN na sučeljima Po A и Po DN, tako da se promet počinje prenositi duž veze Veza 2. Pauza u ovom slučaju je, u praksi, do 2 sekunde.
I sada možemo jednostavno prebaciti Link 1 na N1, vraćanje kapaciteta i razine redundantnosti sučelja Po A и Po DN. Budući da kada je ova veza spojena, trenutna vrijednost ID-a sustava se ne mijenja ni na jednoj strani, nema prekida.
Dodatne poveznice
Ali prebacivanje se može izvršiti bez prisutnosti inženjera u trenutku prebacivanja. Da bismo to učinili, morat ćemo unaprijed postaviti dodatne veze između distribucijskih sklopki D i nove agregacijske sklopke N.
Postavljamo nove veze između prekidača agregacije N i razdjelne sklopke za sve POD-ove. To zahtijeva naručivanje i polaganje dodatnih patch kabela i instaliranje dodatnih primopredajnika kao u N, i u D. To možemo učiniti jer u našim prekidačima D Svaki POD ima slobodne priključke (ili ih mi unaprijed oslobodimo). Kao rezultat toga, svaki POD je fizički povezan s dvije veze na stare prekidače A i na nove prekidače N.
Na prekidaču D formirana su dva agregirana sučelja - Po A s poveznicama Veza 1 и Veza 2I Po N - s poveznicama Link N1 и Link N2. U ovoj fazi provjeravamo ispravnu vezu sučelja i linkova, razine optičkih signala na oba kraja linka (preko DDM informacija sa preklopnika), čak možemo provjeriti performanse linka pod opterećenjem ili pratiti stanja optičkih signala i temperature primopredajnika nekoliko dana.
Promet se i dalje šalje kroz sučelje Po A, i sučelje Po N košta bez prometa. Postavke na sučeljima su otprilike ove:
Interface Port-channel A
Switchport mode trunk
Switchport allowed vlan C1, C2
Interface Port-channel N
Switchport mode trunk
Switchport allowed vlan noneD preklopnici u pravilu podržavaju rekonfiguraciju sesije, koriste se modeli preklopnika koji imaju tu funkcionalnost. Tako možemo promijeniti postavke Po A i Po N sučelja u jednom koraku:
Configure session
Interface Port-channel A
Switchport allowed vlan none
Interface Port-channel N
Switchport allowed vlan C1, C2
CommitTada će se promjena konfiguracije dogoditi dovoljno brzo, a pauza u praksi neće biti dulja od 5 sekundi.
Ova metoda nam omogućuje da unaprijed dovršimo sve pripremne radove, izvršimo sve potrebne provjere, koordiniramo rad sa sudionicima u procesu, detaljno predvidimo radnje za proizvodnju rada, bez poleta kreativnosti kada „sve pođe po zlu ,” i imati pri ruci plan za povratak na prethodnu konfiguraciju. Radove prema ovom planu izvodi mrežni inženjer bez prisutnosti inženjera podatkovnog centra na licu mjesta koji fizički provodi komutaciju.
Ono što je također važno kod ovog načina prebacivanja je da se svi novi linkovi već unaprijed prate. Greške, uključivanje poveznica u jedinicu, učitavanje poveznica - sve potrebne informacije već se nalaze u sustavu nadzora, a to je već ucrtano na kartama.
Dan D
POD
Odabrali smo najmanje bolan put prebacivanja za klijente i najmanje sklon scenarijima "nešto je pošlo po zlu" s dodatnim vezama. Tako smo prebacili sve POD-ove na nove sklopke za agregaciju u nekoliko noći.
No, preostaje samo prebaciti opremu koja pruža DCI usluge.
L2
U slučaju opreme koja omogućuje L2 povezivost, nismo bili u mogućnosti izvršiti sličan posao s dodatnim vezama. Za to postoje najmanje dva razloga:
- Nedostatak slobodnih portova potrebne brzine na VXLAN preklopnicima.
- Nedostatak funkcionalnosti promjene konfiguracije sesije na VXLAN preklopnicima.
Linkove nismo mijenjali “jedan po jedan” s prekidom samo dok smo dogovarali novi system-id par, jer nismo imali 100% povjerenja da će postupak proći kako treba, a test u laboratoriju je pokazao da u U slučaju da “nešto pođe po zlu” i dalje dolazi do prekida veze, a što je najgore nije samo za klijente koji imaju L2 konekciju s drugim podatkovnim centrima, već općenito za sve klijente ovog podatkovnog centra.
Proveli smo propagandni rad prije vremena na prijelazu s L2 kanala, tako da je broj klijenata pogođenih radom na VXLAN preklopnicima već bio nekoliko puta manji nego prije godinu dana. Slijedom toga odlučili smo prekinuti komunikaciju putem L2 usluge povezivanja, pod uvjetom da održavamo normalan rad lokalnih mrežnih usluga u jednom podatkovnom centru. Osim toga, SLA za ovu uslugu predviđa mogućnost obavljanja planiranog rada s prekidima.
L3
Zašto smo preporučili da svi prijeđu na L3VPN prilikom organiziranja DCI usluga? Jedan od razloga je mogućnost obavljanja posla na jednom od usmjerivača koji pružaju ovu uslugu, jednostavno smanjujući razinu redundantnosti na N+0, bez prekidanja komunikacije.
Pogledajmo pobliže shemu pružanja usluga. U ovoj usluzi, L2 segment ide od klijentskih poslužitelja samo do L3VPN Selectel usmjerivača. Klijentska mreža je terminirana na usmjerivačima.
Svaki klijent poslužitelj, npr. S2 и S3 u gornjem dijagramu imaju svoje privatne IP adrese - 10.0.0.2/24 na poslužitelju S2 и 10.0.0.3/24 na poslužitelju S3. Adrese 10.0.0.252/24 и 10.0.0.253/24 koje je Selectel dodijelio usmjerivačima L3VPN-1 и L3VPN-2, odnosno. IP adresa 10.0.0.254/24 je VRRP VIP adresa na Selectel ruterima.
Možete saznati više o L3VPN usluzi u našem blogu.
Prije prebacivanja sve je izgledalo otprilike kao na dijagramu:
Dva rutera L3VPN-1 и L3VPN-2 bili spojeni na stari agregacijski prekidač А. Glavna za VRRP VIP adresu 10.0.0.254 je usmjerivač L3VPN-1. Ima veći prioritet za ovu adresu od usmjerivača L3VPN-2.
unit 1006 {
description C2;
vlan-id 1006;
family inet {
address 10.0.0.252/24 {
vrrp-group 1 {
priority 200;
virtual-address 10.100.0.254;
preempt {
hold-time 120;
}
accept-data;
}
}
}
}S2 poslužitelj koristi pristupnik 10.0.0.254 za komunikaciju s poslužiteljima na drugim lokacijama. Dakle, odspajanje L3VPN-2 usmjerivača s mreže (naravno, ako je prvo isključeno iz MPLS domene) ne utječe na povezanost poslužitelja klijenta. U ovoj točki, razina redundantnosti kruga je jednostavno smanjena.
Nakon toga možemo sigurno ponovno spojiti router L3VPN-2 na par prekidača N. Postavite veze, promijenite primopredajnike. Logička sučelja rutera, o kojima ovisi rad klijentskih servisa, su onemogućena dok se ne potvrdi da sve funkcionira kako treba.
Nakon provjere linkova, primopredajnika, razina signala i razina grešaka na sučeljima, ruter se stavlja u rad, ali već spojen na novi par preklopnika.
Zatim spuštamo VRRP prioritet usmjerivača L3VPN-1, a VIP adresa 10.0.0.254 premješta se na usmjerivač L3VPN-2. Ovi radovi također se izvode bez prekida komunikacije.
Prijenos VIP adrese 10.0.0.254 na usmjerivač L3VPN-2 omogućuje vam da onemogućite ruter L3VPN-1 bez prekida komunikacije za klijenta i spojiti ga na novi par agregacijskih sklopki N.
Da li vratiti VRRP VIP na L3VPN-1 ruter je drugo pitanje, a i ako se vrati, to se radi bez prekida veze.
Ukupno
Nakon svih ovih koraka, zapravo smo zamijenili sklopke za agregaciju u jednom od naših podatkovnih centara, dok smo minimizirali smetnje za naše klijente.
Ostaje samo demontaža. Demontaža starih preklopnika, demontaža starih linkova između preklopnika A i D, demontaža primopredajnika sa ovih linkova, korekcija monitoringa, korekcija mrežnih dijagrama u dokumentaciji i monitoring.
Možemo koristiti prekidače, primopredajnike, patch kabele, AOC, DAC koji su ostali nakon prebacivanja u drugim projektima ili za druga slična prebacivanja.
“Natasha, sve smo zamijenili!”
Izvor: www.habr.com