Come aggiornare le attrezzature di rete in una grande impresa senza fermare la produzione? Di un grande progetto in modalità «operazione a cuore aperto» parla il project manager di Linxdatacenter, Oleg Fedorov.
Negli ultimi anni abbiamo registrato un aumento della domanda da parte dei clienti per servizi legati ai componenti di rete dell'infrastruttura IT. La necessità di connettività dei sistemi IT, servizi, applicazioni, compiti di monitoraggio e gestione operativa delle attività è diventata fondamentale, spingendo le aziende a prestare maggiore attenzione alle reti.
L'ampiezza delle richieste va dalla garanzia di tolleranza ai guasti della rete alla creazione e gestione di un sistema autonomo per il cliente con l'acquisto di un blocco indirizzi IP, configurazione dei protocolli di routing e gestione del traffico in base alle politiche delle organizzazioni.
Cresce anche la domanda di soluzioni integrate per la costruzione e manutenzione dell'infrastruttura di rete, soprattutto da parte di clienti la cui infrastruttura di rete è stata creata da zero o è moralmente obsoleta e richiede una seria modernizzazione.
Questa tendenza coincide temporalmente con il periodo di sviluppo e complicazione della nostra infrastruttura di rete a Linxdatacenter. Abbiamo ampliato la nostra presenza geografica in Europa collegandoci a sedi remote, il che ha richiesto un miglioramento dell'infrastruttura di rete.
L'azienda ha lanciato un nuovo servizio per i clienti, Network-as-a-Service: ci occupiamo di tutte le problematiche di rete dei clienti, permettendo loro di concentrarsi sul core business.
Nell'estate del 2020 si è concluso il primo grande progetto in questa direzione, di cui ci piacerebbe parlare.
All'inizio
Un grande complesso industriale si è rivolto a noi per la modernizzazione della parte di rete dell'infrastruttura in uno dei suoi stabilimenti. Era necessario sostituire le attrezzature obsolete con nuove, inclusi i core di rete.
L'ultima modernizzazione delle attrezzature nello stabilimento è avvenuta circa 10 anni fa. La nuova direzione dell'azienda ha deciso di migliorare la connettività, iniziando dall'aggiornamento dell'infrastruttura a livello fisico di base.
Il progetto è stato suddiviso in due parti: l'upgrade del parco server e quello delle attrezzature di rete. Noi ci siamo occupati della seconda parte.
I requisiti di base per i lavori includevano la minimizzazione dei tempi di inattività delle linee di produzione dell'azienda durante l'esecuzione dei lavori (e in alcune aree l'esclusione totale dei tempi di inattività). Qualsiasi fermo comporta perdite finanziarie dirette per il cliente, il che non doveva accadere in nessuna circostanza. In considerazione del funzionamento dell'impianto 24x7x365, e del completo assenza di periodi programmati di inattività nella pratica dell'azienda, ci è stata assegnata l'attività di effettuare, di fatto, un'operazione a cuore aperto. Questo è diventato il principale elemento distintivo del progetto.
Andiamo
I lavori erano pianificati secondo il principio di muoversi dai nodi più lontani dal nucleo della rete verso quelli più vicini, e anche da quelli che influenzano meno il funzionamento delle linee di produzione a quelli che influenzano direttamente tale funzionamento.
Ad esempio, se consideriamo un nodo della rete nel dipartimento vendite, un’interruzione della comunicazione a causa dei lavori in questo dipartimento non avrà alcun impatto sulla produzione. Tale incidente ci aiuterà come appaltatore a verificare la correttezza dell'approccio scelto per lavorare su tali nodi e, correggendo le azioni, operare nelle fasi successive del progetto.
È necessario non solo sostituire i nodi e i cavi nella rete, ma anche configurare correttamente tutti i componenti per il corretto funzionamento della soluzione nel suo complesso. Proprio le configurazioni sono state verificate in questo modo: iniziando i lavori a distanza dal nucleo, ci concedevamo in un certo senso un 'diritto all'errore', senza esporre a rischio sezioni critiche per il funzionamento dell'azienda.
Abbiamo identificato zone non influenti sul processo produttivo, così come sezioni critiche – officine, blocco di carico/scarico, magazzini, ecc. In oltre questi punti chiave, insieme al cliente, è stato concordato un tempo di inattività accettabile per ciascun nodo della rete: da 1 a 15 minuti. Era impossibile evitare completamente l'interruzione di singoli nodi della rete, poiché il cavo doveva essere fisicamente scollegato dal vecchio equipaggiamento e collegato a quello nuovo, e durante il processo di commutazione era necessario anche districare il 'groviglio' di cavi, formato nel corso di anni di utilizzo senza la dovuta manutenzione (una delle conseguenze della esternalizzazione dei lavori di installazione dei cavi).
I lavori sono stati suddivisi in diverse fasi.
Fase 1 – Audit. Preparazione e concordanza dell'approccio alla pianificazione dei lavori e valutazione della prontezza delle squadre: cliente, appaltatore, che esegue l'installazione, e il nostro team.
Fase 2 – Sviluppo del formato per l'esecuzione dei lavori, con un'analisi dettagliata e approfondita e pianificazione. Abbiamo scelto il formato della checklist con indicazione esatta dell'ordine e della sequenza delle azioni, fino alla sequenza di commutazione dei cavi patch attraverso le porte.
Fase 3 – Esecuzione dei lavori negli armadi, senza influenzare la produzione. Valutazione e correzione del tempo di inattività per le fasi successive dei lavori.
Fase 4 – Esecuzione dei lavori negli armadi che influenzano direttamente la produzione. Valutazione e correzione del tempo di inattività per la fase finale dei lavori.
Fase 5 – Esecuzione dei lavori nel server per la commutazione dell'attrezzatura rimanente. Avvio del routing sul nuovo core.
Fase 6 – Commutazione sequenziale del core del sistema dalle vecchie configurazioni di rete a nuove per una transizione fluida dell'intero complesso del sistema (VLAN, routing, ecc.). In questa fase abbiamo collegato tutti gli utenti e trasferito tutti i servizi su nuova attrezzatura, verificato la correttezza del collegamento, ci siamo assicurati che nessun servizio aziendale si fosse interrotto, garantendo che eventuali problemi fossero direttamente correlati al core, il che facilitava la risoluzione di eventuali malfunzionamenti e la configurazione finale.
Pettinatura della barba dei cavi
Il progetto si è rivelato complicato anche a causa delle condizioni iniziali difficili.
In primo luogo, c'è un'enorme quantità di nodi e sezioni di rete, con una topologia intricata e una classificazione dei cavi in base al loro utilizzo. Queste "barbe" dovevano essere estratte dagli armadi e accuratamente "pettinate", scoprendo quale cavo provenisse da dove e dove conducesse.
Si presentava più o meno così:
in questo modo:
o così:
In secondo luogo, per ogni compito di questo tipo era necessario preparare un file con la descrizione del processo. «Prendiamo il cavo X dalla porta 1 dell'attrezzatura vecchia e lo inseriamo nella porta 18 della nuova attrezzatura». Sembra semplice, ma quando hai 48 porte completamente occupate nei dati di partenza e manca l’opzione di fermo (ricordiamoci del 24x7x365), l'unica soluzione è lavorare a blocchi. Più cavi riesci a estrarre dall'attrezzatura vecchia in una sola volta, più velocemente puoi sistemarli e inserirli nel nuovo
Pertanto, durante la fase di preparazione abbiamo effettuato una suddivisione della rete in blocchi: ognuno di essi era associato a un certo VLAN. Ogni porta (o il loro sottoinsieme) sull'attrezzatura vecchia è uno dei VLAN nella nuova topologia di rete. Li abbiamo raggruppati in questo modo: nelle prime porte degli switch abbiamo collocato le reti degli utenti, nel mezzo le reti di produzione e nelle ultime i punti di accesso e gli uplink.
Questo approccio ha consentito di estrarre e sistemare in un'unica fase non 1 cavo, ma 10-15. Ciò ha accelerato notevolmente il processo lavorativo.
A proposito, ecco come si presentano i cavi nei rack dopo la sistemazione:
oppure, ad esempio, in questo modo:
Dopo aver completato la seconda fase, abbiamo preso una pausa per analizzare gli errori e la dinamica del progetto. Ad esempio, sono emersi subito piccoli errori a causa di imprecisioni negli schemi di rete che ci erano stati forniti (connettore errato nello schema – patch cord acquistato erroneamente e necessità di sostituirlo).
La pausa era necessaria, poiché nel lavoro con il server anche un piccolo errore nel processo era inaccettabile. Se l'obiettivo era garantire un tempo di inattività sulla porzione di rete non superiore a 5 minuti, non si poteva oltrepassarlo. Qualsiasi possibile deviazione dal programma doveva essere concordata con il cliente.
Tuttavia, una pianificazione preliminare e la suddivisione del progetto in blocchi hanno permesso di rispettare il tempo di inattività programmato in tutte le sezioni, e nella maggior parte dei casi di farne a meno del tutto.
La sfida del tempo – progetto sotto COVID
Tuttavia, non sono mancati problemi aggiuntivi. Certo, uno degli ostacoli è stato il coronavirus.
I lavori si sono complicati a causa della pandemia, rendendo impossibile la presenza di tutti gli specialisti coinvolti nel processo durante l'esecuzione del lavoro presso il cliente. Solo il personale dell'organizzazione di installazione è stato autorizzato a entrare nel sito, mentre il controllo è stato effettuato tramite una stanza in Zoom, in cui si trovavano l'ingegnere di rete di Linxdatacenter, io come responsabile del progetto, un ingegnere di rete del cliente, responsabile dell'esecuzione dei lavori, e il team incaricato di eseguire i lavori di installazione.
Durante i lavori sono emersi problemi non previsti, il che ha reso necessario apportare correzioni in tempo reale. Così siamo riusciti a prevenire rapidamente l'impatto del fattore umano (errori nel schema, errori nell'identificazione dello stato di attività dell'interfaccia, ecc.).
Sebbene il formato di lavoro a distanza sembrasse insolito all'inizio del progetto, ci siamo adattati abbastanza rapidamente alle nuove condizioni e siamo giunti alla fase finale dei lavori.
Abbiamo avviato una configurazione temporanea delle impostazioni di rete per il funzionamento parallelo di due core di rete – il vecchio e il nuovo – al fine di garantire una transizione fluida. Tuttavia, si è scoperto che una riga extra non era stata rimossa dal file di configurazione del nuovo core, e quindi non c'è stata alcuna transizione. Questo ci ha costretto a spendere del tempo per identificare il problema.
È emerso che il traffico principale veniva trasmesso correttamente, mentre il traffico di gestione non raggiungeva il nodo attraverso il nuovo core. Grazie a una chiara suddivisione del progetto in fasi, siamo riusciti a identificare rapidamente il segmento di rete in cui si era verificato il problema, individuare la causa e risolverlo.
E come risultato
Risultati tecnici del progetto
Innanzitutto, è stato creato un nuovo core per la rete dell'azienda, per il quale abbiamo costruito anelli fisici/logici. È stato fatto in modo che ogni switch nella rete avesse un "secondo braccio". Nella vecchia rete, molti switch erano collegati al core attraverso un'unica tratta, un solo braccio (uplink). Se questo si guastava, lo switch diventava completamente inaccessibile. E se più switch erano collegati a un solo uplink, un guasto avrebbe potuto mettere fuori uso un intero dipartimento o una linea di produzione nell'azienda.
Nella nuova rete, anche un incidente di rete piuttosto serio non potrà "far crollare" l'intera rete o una sua parte significativa in nessuno scenario.
Il 90% di tutta l'attrezzatura di rete è stata aggiornata, i media converter (trasduttori del mezzo di distribuzione del segnale) sono stati dismessi e non è più necessario utilizzare linee di alimentazione dedicate per alimentare l'attrezzatura grazie al collegamento a switch PoE, dove l'alimentazione è fornita tramite cavi Ethernet.
Inoltre, sono state etichettate tutte le connessioni ottiche nel server ed nei rack in loco – in tutti i nodi chiave della rete. Questo ha permesso di preparare uno schema topologico dell'attrezzatura e delle connessioni nella rete, riflettendo il suo stato attuale.
Schema di rete
Il risultato principale dal punto di vista tecnico: sono stati effettuati lavori infrastrutturali piuttosto ampi in modo rapido, senza creare alcun disturbo nelle operazioni dell'azienda e praticamente invisibilmente per il suo personale.
Rendicontazione aziendale del progetto
A mio avviso, questo progetto è interessante principalmente non dal punto di vista tecnico, ma da quello organizzativo. La difficoltà risiedeva principalmente nella pianificazione e nell'ideazione dei passi necessari per l'implementazione degli obiettivi del progetto.
Il successo del progetto consente di affermare che la nostra iniziativa per lo sviluppo della direzione di rete nell'ambito del portafoglio di servizi di Linxdatacenter è una scelta corretta per il percorso di sviluppo dell'azienda. Un approccio responsabile alla gestione dei progetti, una strategia ben definita e una pianificazione chiara ci hanno permesso di svolgere il lavoro a un livello adeguato.
La conferma della qualità del lavoro è stata la richiesta del cliente di continuare a fornire servizi di modernizzazione della rete nelle altre sedi in Russia.
Fonte: habr.com
