Nella nostra aggregazione di rete locale avevamo sei coppie di switch Arista DCS-7050CX3-32S e una coppia di switch Brocade VDX 6940-36Q. Non è che fossimo eccessivamente messi a dura prova dagli switch Brocade in questa rete, funzionano ed eseguono le loro funzioni, ma stavamo preparando la completa automazione di alcune azioni e non avevamo queste funzionalità su questi switch. Volevo anche passare dalle interfacce 40GE alla possibilità di utilizzare 100GE per fare una riserva per i prossimi 2-3 anni. Quindi abbiamo deciso di cambiare Brocade in Arista.
Questi switch sono switch di aggregazione LAN per ciascun data center. Ad essi sono direttamente collegati gli switch di distribuzione (il secondo livello di aggregazione), che già assemblano gli switch di rete locale Top-of-Rack nei rack con i server.
Ogni server è connesso a uno o due switch di accesso. Gli switch di accesso sono collegati a una coppia di switch di distribuzione (due switch di distribuzione e due collegamenti fisici dallo switch di accesso a diversi switch di distribuzione vengono utilizzati per la ridondanza).
Ciascun server può essere utilizzato dal proprio client, quindi al client viene allocata una VLAN separata. La stessa VLAN viene quindi registrata su un altro server di questo client in qualsiasi rack. Il data center è costituito da diverse file di questo tipo (POD), ciascuna fila di rack ha i propri switch di distribuzione. Quindi questi interruttori di distribuzione sono collegati agli interruttori di aggregazione.
I clienti possono ordinare un server in qualsiasi fila; è impossibile prevedere in anticipo che il server verrà allocato o installato in una determinata fila in un rack specifico, motivo per cui ci sono circa 2500 VLAN sugli switch di aggregazione in ciascun data center.
Le apparecchiature per DCI (Data-Center Interconnect) sono collegate agli switch di aggregazione. Può essere destinato alla connettività L2 (una coppia di switch che forma un tunnel VXLAN verso un altro data center) o alla connettività L3 (due router MPLS).
Come ho già scritto, per unificare i processi di automazione della configurazione dei servizi sulle apparecchiature in un data center, è stato necessario sostituire gli switch di aggregazione centrale. Abbiamo installato nuovi interruttori accanto a quelli esistenti, li abbiamo combinati in una coppia MLAG e abbiamo iniziato a prepararci per il lavoro. Sono stati immediatamente connessi agli switch di aggregazione esistenti, in modo che avessero un dominio L2 comune su tutte le VLAN client.
Dettagli del circuito
Per i dettagli, diamo un nome alle vecchie opzioni di aggregazione A1 и A2, nuovo - N1 и N2. Immaginiamolo dentro POD1 и POD4 sono ospitati i server di un client S1,La VLAN del client è indicata in blu. Questo client utilizza il servizio di connettività L2 con un altro data center, quindi la sua VLAN viene alimentata a una coppia di switch VXLAN.
Cliente S2 ospita server in POD2 и POD3,La VLAN del client è indicata in verde scuro. Questo client utilizza anche un servizio di connettività con un altro data center, ma L3, quindi la sua VLAN viene alimentata a una coppia di router L3VPN.
Abbiamo bisogno delle VLAN client per capire in quali fasi del lavoro di sostituzione cosa succede, dove avviene l'interruzione della comunicazione e quale può essere la sua durata. Il protocollo STP non viene utilizzato in questo schema, poiché la larghezza dell'albero in questo caso è ampia e la convergenza del protocollo cresce esponenzialmente con il numero di dispositivi e collegamenti tra loro.
Tutti i dispositivi collegati tramite doppi collegamenti formano uno stack, una coppia MLAG o una struttura Ethernet VCS. Per una coppia di router L3VPN, tali tecnologie non vengono utilizzate, poiché non è necessaria la ridondanza L2; è sufficiente che abbiano connettività L2 tra loro tramite switch di aggregazione.
Opzioni di implementazione
Analizzando le opzioni per ulteriori eventi, ci siamo resi conto che esistono diversi modi per svolgere questo lavoro. Da un'interruzione globale sull'intera rete locale, a piccole interruzioni letteralmente di 1-2 secondi in alcune parti della rete.
Rete, fermati! Interruttori, sostituiscili!
Il modo più semplice è, ovviamente, dichiarare un'interruzione globale della comunicazione su tutti i POD e tutti i servizi DCI e scambiare tutti i collegamenti dagli switch А agli interruttori N.
A parte l'interruzione, di cui non possiamo prevedere con certezza la durata (sì, conosciamo il numero di collegamenti, ma non sappiamo quante volte qualcosa andrà storto - da un cavo di connessione rotto o un connettore danneggiato a una porta o ricetrasmettitore difettoso ), non possiamo ancora prevedere in anticipo se la lunghezza dei cavi di connessione, DAC, AOC, collegati ai vecchi interruttori A, sarà sufficiente per raggiungerli ai nuovi interruttori N, pur stando accanto a loro, ma ancora un po' per lato e se gli stessi ricetrasmettitori funzioneranno /DAC/AOC dagli switch Brocade agli switch Arista.
E tutto questo in condizioni di forte pressione da parte dei clienti e del supporto tecnico (“Natasha, alzati! Natasha, lì non funziona tutto! Natasha, abbiamo già scritto al supporto tecnico, onestamente! Natasha, hanno già mollato tutto ! Nataša, quanti altri ne abbiamo non funzionerà? Nataša, quando funzionerà?!"). Nonostante la pausa preannunciata e la notifica ai clienti, l'afflusso di richieste in tale momento è garantito.
Basta, 1-2-3-4!
E se non annunciassimo una pausa globale, ma piuttosto una serie di piccole interruzioni di comunicazione per i servizi POD e DCI? Durante la prima pausa, passa agli interruttori N solo POD1, nel secondo - tra un paio di giorni - POD2, poi ancora un paio di giorni POD3Ulteriormente POD 4…[N], quindi gli switch VXLAN e infine i router L3VPN.
Con questa organizzazione del cambio di lavoro, riduciamo la complessità del lavoro una tantum e aumentiamo il tempo a disposizione per risolvere i problemi se qualcosa va storto all'improvviso. Il POD 1 rimane collegato agli altri POD e DCI dopo la commutazione. Ma il lavoro stesso si trascina a lungo; durante questo lavoro nel data center, un ingegnere è tenuto a eseguire fisicamente la commutazione, e durante il lavoro (e tale lavoro viene svolto, di regola, di notte, dalle 2 alle 5 del mattino), è richiesta la presenza di un ingegnere di rete online con qualifiche di livello abbastanza elevato. Ma poi si verificano brevi interruzioni della comunicazione; di norma il lavoro può essere svolto in un intervallo di mezz'ora con una pausa fino a 2 minuti (in pratica, spesso 20-30 secondi con il comportamento previsto dell'attrezzatura).
Nell'esempio client S1 o cliente S2 dovrai avvisare del lavoro con un'interruzione della comunicazione almeno tre volte - la prima volta per eseguire il lavoro su un POD, in cui si trova uno dei suoi server, la seconda volta - la seconda e la terza volta - quando apparecchiature di commutazione per servizi DCI.
Commutazione dei canali di comunicazione aggregati
Perché parliamo del comportamento previsto delle apparecchiature e di come è possibile commutare i canali aggregati riducendo al minimo le interruzioni della comunicazione? Immaginiamo la seguente immagine:
Da un lato del collegamento ci sono gli interruttori di distribuzione POD - D1 и D2, formano una coppia MLAG tra loro (stack, fabbrica VCS, coppia vPC), d'altra parte ci sono due collegamenti: Link 1 и Link 2 - incluso nella coppia MLAG di vecchi switch di aggregazione А. Dal lato dell'interruttore D un'interfaccia aggregata con il nome Porto-canale A, sul lato degli interruttori di aggregazione А - interfaccia aggregata con il nome Porto-canale D.
Le interfacce aggregate utilizzano LACP nel loro funzionamento, ovvero gli switch su entrambi i lati scambiano regolarmente pacchetti LACPDU su entrambi i collegamenti per assicurarsi che i collegamenti:
- lavoratori;
- incluso in una coppia di dispositivi sul lato remoto.
Quando si scambiano pacchetti, il pacchetto porta il valore ID di sistema, indicando il dispositivo in cui sono inclusi questi collegamenti. Per una coppia MLAG (stack, factory e così via), il valore system-id per i dispositivi che formano l'interfaccia aggregata è lo stesso. Interruttore D1 invia a Link 1 значение ID sistema De cambiare D2 invia a Link 2 значение ID sistema D.
Interruttori A1 и A2 analizzare i pacchetti LACPDU ricevuti su un'interfaccia Po D e verificare se l'ID di sistema in essi contenuto corrisponde. Se l'ID di sistema ricevuto tramite qualche collegamento cambia improvvisamente dal valore operativo corrente, questo collegamento verrà rimosso dall'interfaccia aggregata finché la situazione non verrà corretta. Ora siamo dal nostro lato dell'interruttore D valore ID sistema corrente dal partner LACP - Ae sul lato dell'interruttore А — valore attuale dell'ID di sistema del partner LACP — D.
Se dobbiamo cambiare l'interfaccia aggregata, possiamo farlo in due modi diversi:
Metodo 1 - Semplice
Disabilitare entrambi i collegamenti dagli interruttori A. In questo caso, il canale aggregato non funziona.
Collegare entrambi i collegamenti uno per uno agli interruttori N, i parametri operativi LACP verranno nuovamente negoziati e verrà creata l'interfaccia Po D sugli interruttori N e trasmissione di valori sui collegamenti ID sistema N.
Metodo 2: ridurre al minimo le interruzioni
Scollegare il collegamento 2 dall'interruttore A2. Allo stesso tempo, il traffico tra А и D continueranno ad essere trasmessi semplicemente su uno dei collegamenti, che rimarrà parte dell'interfaccia aggregata.
Collega il Link 2 all'interruttore N2. Sull'interruttore N l'interfaccia aggregata è già configurata Po DNe cambiare N2 inizierà a trasmettere a LACPDU ID sistema N. A questo punto possiamo già verificare che l'interruttore N2 funziona correttamente con il ricetrasmettitore utilizzato Link 2, che la porta di connessione è entrata nello stato Upe che non si verifichino errori sulla porta di connessione durante la trasmissione di LACPDU.
Ma il fatto che l'interruttore D2 per l'interfaccia aggregata Po A da Il collegamento 2 riceve un valore di ID sistema N diverso dal valore di ID sistema operativo A corrente, non consente cambi D entrare Link 2 parte dell'interfaccia aggregata Po A. Interruttore N non posso entrare Link 2 in funzione, poiché non riceve conferma di operatività dal partner LACP dello switch D2. Il traffico risultante è Link 2 non passare.
E ora disattiviamo il collegamento 1 dall'interruttore A1, privando così gli interruttori А и D interfaccia aggregata funzionante. Quindi dal lato dell'interruttore D il valore system-id correntemente funzionante per l'interfaccia scompare Po A.
Ciò consente gli interruttori D и N accettare di scambiare l'ID di sistema UN sulle interfacce Po A и Po DN, in modo che il traffico inizi a essere trasmesso lungo il collegamento Link 2. La pausa in questo caso dura, in pratica, fino a 2 secondi.
E ora possiamo facilmente cambiare il Link 1 con il N1, ripristinando la capacità e il livello di ridondanza dell'interfaccia Po A и Po DN. Poiché quando questo collegamento è connesso, il valore corrente dell'ID di sistema non cambia su nessuno dei due lati, non vi è alcuna interruzione.
Collegamenti aggiuntivi
Ma il passaggio può essere effettuato senza la presenza di un tecnico al momento del passaggio. Per fare ciò, dovremo stabilire in anticipo collegamenti aggiuntivi tra gli interruttori di distribuzione D e nuovi interruttori di aggregazione N.
Stiamo creando nuovi collegamenti tra gli switch di aggregazione N e interruttori di distribuzione per tutti i POD. Ciò richiede l'ordinazione e la posa di cavi di connessione aggiuntivi e l'installazione di ricetrasmettitori aggiuntivi come in Ne in D. Possiamo farlo perché nei nostri interruttori D Ogni POD ha porte libere (o le pre-libere). Di conseguenza ogni POD è fisicamente collegato tramite due link ai vecchi switch A e ai nuovi switch N.
Sull'interruttore D sono state formate due interfacce aggregate - Po A con collegamenti Link 1 и Link 2E PoN - con collegamenti Collegamento N1 и Collegamento N2. In questa fase controlliamo il corretto collegamento delle interfacce e dei collegamenti, i livelli dei segnali ottici su entrambe le estremità dei collegamenti (tramite informazioni DDM dagli switch), possiamo anche verificare le prestazioni del collegamento sotto carico o monitorare gli stati di segnali ottici e temperature del ricetrasmettitore per un paio di giorni.
Il traffico viene comunque inviato attraverso l'interfaccia Po Ae l'interfaccia PoN non costa traffico. Le impostazioni sulle interfacce sono qualcosa del genere:
Interface Port-channel A
Switchport mode trunk
Switchport allowed vlan C1, C2
Interface Port-channel N
Switchport mode trunk
Switchport allowed vlan noneGli switch D, di norma, supportano modifiche alla configurazione basate sulla sessione; vengono utilizzati modelli di switch che hanno questa funzionalità. Quindi possiamo modificare le impostazioni delle interfacce Po A e Po N in un solo passaggio:
Configure session
Interface Port-channel A
Switchport allowed vlan none
Interface Port-channel N
Switchport allowed vlan C1, C2
CommitQuindi il cambio di configurazione avverrà abbastanza rapidamente e la pausa, in pratica, non durerà più di 5 secondi.
Questo metodo ci consente di completare in anticipo tutto il lavoro preparatorio, effettuare tutti i controlli necessari, coordinare il lavoro con i partecipanti al processo, prevedere nel dettaglio le azioni per la produzione del lavoro, senza voli di creatività quando “tutto è andato storto ”, e avere a portata di mano un piano per tornare alla configurazione precedente. I lavori secondo questo piano vengono eseguiti da un tecnico di rete senza la presenza in loco di un tecnico del data center che effettua fisicamente la commutazione.
Ciò che è importante in questo metodo di commutazione è anche che tutti i nuovi collegamenti siano già monitorati in anticipo. Errori, inclusione di collegamenti nell'unità, caricamento di collegamenti: tutte le informazioni necessarie sono già nel sistema di monitoraggio e sono già disegnate sulle mappe.
D-day
POD
Abbiamo scelto il percorso di cambiamento meno doloroso per i clienti e quello meno incline agli scenari "qualcosa è andato storto" con collegamenti aggiuntivi. Quindi abbiamo passato tutti i POD ai nuovi switch di aggregazione in un paio di notti.
Ma non resta che cambiare le apparecchiature che forniscono i servizi DCI.
L2
Nel caso delle apparecchiature che forniscono connettività L2, non siamo stati in grado di svolgere un lavoro simile con collegamenti aggiuntivi. Ci sono almeno due ragioni per questo:
- Mancanza di porte libere della velocità richiesta sugli switch VXLAN.
- Mancanza di funzionalità di modifica della configurazione della sessione sugli switch VXLAN.
Non abbiamo cambiato i collegamenti "uno alla volta" con un'interruzione solo mentre concordavamo una nuova coppia sistema-id, poiché non eravamo sicuri al 100% che la procedura andasse correttamente, e un test in laboratorio ha dimostrato che in caso in cui “qualcosa va storto”, si verifica comunque un'interruzione della connessione e la cosa peggiore non riguarda solo i client che hanno connettività L2 con altri data center, ma in generale tutti i client di questo data center.
Abbiamo svolto in anticipo un lavoro di propaganda sulla transizione dai canali L2, quindi il numero di clienti interessati dal lavoro sugli switch VXLAN era già molte volte inferiore a un anno fa. Di conseguenza, abbiamo deciso di interrompere la comunicazione tramite il servizio di connessione L2, a condizione di mantenere il normale funzionamento dei servizi di rete locale in un data center. Inoltre lo SLA di questo servizio prevede la possibilità di effettuare lavori programmati con interruzioni.
L3
Perché consigliamo a tutti di passare a L3VPN quando si organizzano i servizi DCI? Uno dei motivi è la possibilità di operare su uno dei router che forniscono questo servizio, semplicemente riducendo il livello di ridondanza a N+0, senza interrompere la comunicazione.
Diamo uno sguardo più da vicino allo schema di erogazione del servizio. In questo servizio, il segmento L2 va dai server client solo ai router L3VPN Selectel. La rete client termina sui router.
Ogni server client, ad es. S2 и S3 nel diagramma sopra, hanno i propri indirizzi IP privati - 10.0.0.2/24 sul server S2 и 10.0.0.3/24 sul server S3. Indirizzi 10.0.0.252/24 и 10.0.0.253/24 assegnato da Selectel ai router L3VPN-1 и L3VPN-2, rispettivamente. indirizzo IP 10.0.0.254/24 è un indirizzo VIP VRRP sui router Selectel.
Puoi saperne di più sul servizio L3VPN nel nostro blog.
Prima del passaggio, tutto appariva più o meno come nel diagramma:
Due router L3VPN-1 и L3VPN-2 erano collegati al vecchio switch di aggregazione А. Il master per l'indirizzo VIP VRRP 10.0.0.254 è il router L3VPN-1. Ha una priorità più alta per questo indirizzo rispetto al router L3VPN-2.
unit 1006 {
description C2;
vlan-id 1006;
family inet {
address 10.0.0.252/24 {
vrrp-group 1 {
priority 200;
virtual-address 10.100.0.254;
preempt {
hold-time 120;
}
accept-data;
}
}
}
}Il server S2 utilizza il gateway 10.0.0.254 per comunicare con i server in altre posizioni. Pertanto, la disconnessione del router L3VPN-2 dalla rete (ovviamente, se viene prima disconnesso dal dominio MPLS) non influisce sulla connettività dei server del cliente. A questo punto il livello di ridondanza del circuito viene semplicemente ridotto.
Successivamente possiamo ricollegare in sicurezza il router L3VPN-2 ad una coppia di interruttori N. Posare collegamenti, cambiare ricetrasmettitori. Le interfacce logiche del router, da cui dipende il funzionamento dei servizi client, sono disabilitate finché non viene confermato che tutto funziona come dovrebbe.
Dopo aver controllato i collegamenti, i ricetrasmettitori, i livelli di segnale e i livelli di errore sulle interfacce, il router viene messo in funzione, ma già collegato a una nuova coppia di switch.
Successivamente, abbassiamo la priorità VRRP del router L3VPN-1 e l'indirizzo VIP 10.0.0.254 viene spostato sul router L3VPN-2. Anche questi lavori vengono eseguiti senza interruzione della comunicazione.
Trasferimento dell'indirizzo VIP 10.0.0.254 al router L3VPN-2 consente di disabilitare il router L3VPN-1 senza interruzione della comunicazione per il client e collegarlo a una nuova coppia di switch di aggregazione N.
Se restituire o meno VRRP VIP al router L3VPN-1 è un'altra questione e, anche se viene restituito, ciò avviene senza interrompere la connessione.
In totale
Dopo tutti questi passaggi, abbiamo effettivamente sostituito gli switch di aggregazione in uno dei nostri data center, riducendo al minimo i disagi per i nostri clienti.
Non resta che lo smantellamento. Smantellamento dei vecchi scambi, smantellamento dei vecchi collegamenti tra gli scambi A e D, smantellamento dei ricetrasmettitori da questi collegamenti, correzione del monitoraggio, correzione degli schemi di rete nella documentazione e nel monitoraggio.
Possiamo utilizzare interruttori, ricetrasmettitori, cavi di connessione, AOC, DAC rimasti dopo la commutazione in altri progetti o per altre commutazioni simili.
"Natasha, abbiamo cambiato tutto!"
Fonte: habr.com