Come aggiornare le apparecchiature di rete in una grande azienda senza interrompere la produzione? Di un grande progetto in modalità 'operazione a cuore aperto' parla il project manager di Linxdatacenter Oleg Fedorov.
Negli ultimi anni abbiamo notato una crescente domanda da parte dei clienti per servizi legati ai componenti di rete dell'infrastruttura IT. La necessità di connettività tra sistemi IT, servizi, applicazioni e le esigenze di monitoraggio e gestione operativa del business, praticamente in qualsiasi settore, costringono oggi le aziende a prestare maggiore attenzione alle reti.
L'ampiezza delle richieste va dalla garanzia di disponibilità della rete alla creazione e gestione di un sistema autonomo per il cliente, con l'acquisto di un modulo IP addresses, configurazione dei protocolli di routing e gestione del traffico in base alle politiche aziendali.
Cresce anche la domanda di soluzioni integrate per la costruzione e manutenzione delle infrastrutture di rete, in particolare da parte di clienti la cui infrastruttura di rete viene creata da zero o è obsoleta, richiedendo significative modifiche.
Questa tendenza temporale coincide con il periodo di sviluppo e complessità della propria infrastruttura di rete di Linxdatacenter. Abbiamo ampliato la nostra presenza geografica in Europa collegandoci a siti remoti, il che ha richiesto anche il perfezionamento dell'infrastruttura di rete.
L'azienda ha lanciato un nuovo servizio per i clienti, Network-as-a-Service: ci occupiamo di tutte le esigenze di rete dei clienti, permettendo loro di concentrarsi sul proprio core business.
Nell'estate del 2020 si è completato il primo grande progetto in questa direzione, di cui vorremmo parlarne.
All'inizio
Un grande complesso industriale ci ha contattati per la modernizzazione della parte di rete dell'infrastruttura in uno dei suoi stabilimenti. Era necessario sostituire l'attrezzatura obsoleta con nuova, compreso il core della rete.
L'ultima modernizzazione dell'attrezzatura nell'impianto risale a circa 10 anni fa. La nuova direzione dell'impianto ha deciso di migliorare la connettività iniziando dall'aggiornamento dell'infrastruttura a livello fisico di base.
Il progetto è stato suddiviso in due parti: l'aggiornamento del parco server e dell'equipaggiamento di rete. Noi ci siamo occupati della seconda parte.
I requisiti di base per il lavoro includevano la minimizzazione dei fermi produttivi dell'azienda durante le opere (e in alcune aree anche l'esclusione totale dei fermi). Ogni fermo comporta perdite economiche dirette per il cliente, cosa che non doveva avvenire in nessuna circostanza. A causa del funzionamento dell'impianto 24 ore su 24, 7 giorni su 7, 365 giorni all'anno, e considerando l'assenza totale di periodi di fermo programmati nella pratica aziendale, ci è stato assegnato il compito di eseguire, di fatto, un'operazione a cuore aperto. Questo è diventato il tratto distintivo del progetto.
Andiamo
I lavori sono stati pianificati seguendo il principio di muoversi dai nodi della rete più lontani dal nucleo a quelli più vicini, e da quelli che influenzano meno le linee di produzione a quelli che influenzano direttamente il loro funzionamento.
Ad esempio, se consideriamo un nodo della rete nel dipartimento vendite, un'interruzione della comunicazione a causa delle opere in questo dipartimento non avrà alcun impatto sulla produzione. Tuttavia, tale incidente ci aiuterà come appaltatori a verificare la correttezza dell'approccio scelto per il lavoro su tali nodi e, correggendo le azioni, a lavorare nelle fasi successive del progetto.
Non è sufficiente sostituire nodi e cavi nella rete, ma è necessario configurare correttamente tutti i componenti affinché la soluzione funzioni nel suo complesso. Proprio le configurazioni sono state verificate in questo modo: iniziando il lavoro staccandosi dal kernel, ci siamo praticamente concessi un "diritto all'errore", senza mettere a rischio parti critiche per il funzionamento dell'azienda.
Abbiamo identificato le aree che non influiscono sul processo produttivo, oltre a quelle critiche – come i reparti, il blocco di carico e scarico, i magazzini, ecc. Nei punti chiave, insieme al cliente, è stato concordato un tempo di inattività tollerabile per ogni nodo della rete: da 1 a 15 minuti. È stato impossibile evitare del tutto la disconnessione di alcuni nodi della rete, poiché il cavo deve essere fisicamente connesso dal vecchio all nuovo hardware, e durante questo passaggio è necessario anche districare la “barba” dei cavi, che si è formata nel corso di diversi anni di utilizzo senza adeguata manutenzione (una delle conseguenze dell'esternalizzazione dei lavori di installazione delle linee cablate).
I lavori sono stati suddivisi in più fasi.
Fase 1 – Audit. Preparazione e allineamento dell'approccio alla pianificazione dei lavori e valutazione della prontezza dei team: cliente, appaltatore che esegue l'installazione e il nostro team.
Fase 2 – Sviluppo del formato per l'esecuzione dei lavori, con un'analisi approfondita e una pianificazione dettagliata. Abbiamo scelto il formato checklist con indicazione precisa dell'ordine e della sequenza delle azioni, fino alla sequenza di cambio dei patch cord tra le porte.
Fase 3 – Esecuzione dei lavori nei pannelli che non influenzano la produzione. Valutazione e adeguamento del tempo di inattività per le fasi successive dei lavori.
Fase 4 – Esecuzione dei lavori nei pannelli che influenzano direttamente la produzione. Valutazione e adeguamento del tempo di inattività per l'ultima fase dei lavori.
Fase 5 – Esecuzione dei lavori nel server per il passaggio dell'attrezzatura rimanente. Avvio dell'instradamento sul nuovo nucleo.
Fase 6 – Passaggio sequenziale del nucleo di sistema da vecchie configurazioni di rete a nuove per una transizione fluida dell'intero complesso di sistema (VLAN, routing, ecc.). In questa fase abbiamo connesso tutti gli utenti e trasferito tutti i servizi su nuove attrezzature, verificato la correttezza delle connessioni, assicurandoci che nessun servizio aziendale si fosse interrotto, garantendo che in caso di eventuali problemi fossero direttamente legati al nucleo, il che ha facilitato la risoluzione di eventuali guasti e la configurazione finale.
Pettinatura della barba dei cavi
Il progetto si è dimostrato complesso anche a causa delle difficili condizioni iniziali.
Innanzitutto, c'era un numero enorme di nodi e segmenti di rete, con una topologia intricata e classificazione dei cavi in base alla loro destinazione. Tali "barbe" dovevano essere estratte dagli armadi e pettinate con cura, cercando di capire da dove venisse ogni cavo e dove andasse.
It looked something like this:
così:
oppure così:
In secondo luogo, per ogni compito di questo tipo era necessario preparare un file con la descrizione del processo. "Prendiamo il cavo X dalla porta 1 dell'attrezzatura vecchia e lo colleghiamo alla porta 18 dell'attrezzatura nuova". Sembra semplice, ma quando i tuoi dati iniziali hanno 48 porte completamente occupate e l'opzione di fermo non è disponibile (ricordiamo il 24x7x365), l'unica soluzione è lavorare a blocchi. Più cavi riesci a estrarre dall'attrezzatura vecchia in una sola volta, più velocemente puoi riordinarli e inserirli nel nuovo "hardware" di rete, evitando interruzioni e fermi nella rete.
Pertanto, nella fase preparatoria, abbiamo suddiviso la rete in blocchi: ognuno di essi apparteneva a un certo VLAN. Ogni porta (o sottoinsieme di esse) nell'attrezzatura vecchia rappresentava uno dei VLAN nella nuova topologia di rete. Li abbiamo raggruppati in questo modo: nelle prime porte dello switch si trovano le reti utenti, in mezzo ci sono le reti di produzione e nelle ultime ci sono i punti di accesso e gli uplink.
Questo approccio ha permesso di estrarre e riordinare non 1 cavo, ma 10-15 dalla vecchia attrezzatura in un'unica operazione. Questo ha accelerato notevolmente il processo di lavoro.
Ecco come appaiono i cavi negli armadi dopo la sistemazione:
oppure, per esempio, così:
Dopo aver completato la seconda fase, ci siamo presi una pausa per analizzare gli errori e la dinamica del progetto. Ad esempio, sono emersi piccoli difetti a causa delle imprecisioni nei diagrammi di rete forniti (connettore errato nel diagramma – cavo patch acquistato errato e necessità di sostituzione).
La pausa era necessaria, poiché lavorando con server, anche un piccolo errore nel processo sarebbe stato inaccettabile. Se l'obiettivo era garantire un tempo di inattività non superiore a 5 minuti su una parte della rete, non si doveva superarlo. Qualsiasi possibile deviazione dal piano doveva essere concordata con il cliente.
Tuttavia, una pianificazione preliminare e la suddivisione del progetto in blocchi hanno consentito di rispettare il tempo di inattività pianificato in tutte le aree, e nella maggior parte dei casi, di evitarlo del tutto.
La sfida del tempo – progetto durante il COVID
Tuttavia, non sono mancati ulteriori problemi. Certamente, uno degli ostacoli è stato il coronavirus.
I lavori si sono complicati a causa della pandemia, che ha reso impossibile la presenza di tutti gli specialisti coinvolti nel processo sul sito del cliente. Solo il personale dell'organizzazione di montaggio è stato autorizzato ad accedere al sito, mentre il controllo è avvenuto tramite una stanza su Zoom, dove si trovavano l'ingegnere di rete di Linxdatacenter, io come project manager, l'ingegnere di rete del cliente responsabile della realizzazione dei lavori e il team che eseguiva le opere di montaggio.
Durante i lavori sono emersi problemi non previsti, e abbiamo dovuto apportare modifiche in tempo reale. In questo modo siamo riusciti a prevenire rapidamente l'influenza del fattore umano (errori nello schema, errori nella determinazione dello stato di attività dell'interfaccia, ecc.).
Sebbene il formato di lavoro a distanza sembrasse strano all'inizio del progetto, ci siamo adattati piuttosto rapidamente alle nuove condizioni e siamo giunti alla fase finale dei lavori.
Abbiamo avviato una configurazione temporanea delle impostazioni di rete per il funzionamento parallelo di due kernel di rete – il vecchio e il nuovo – per garantire una transizione fluida. Tuttavia, ci siamo accorti che non era stata rimossa una riga superflua dal file di configurazione del nuovo kernel, e la transizione non è avvenuta. Questo ci ha costretti a dedicare tempo alla ricerca del problema.
È emerso che il traffico principale veniva trasmesso correttamente, mentre il traffico di controllo non raggiungeva il nodo tramite il nuovo kernel. Grazie a una chiara suddivisione del progetto in fasi, siamo riusciti a individuare rapidamente il segmento di rete in cui si era verificato il problema, identificarne la causa e risolverlo.
E come risultato
Risultati tecnici del progetto
Innanzitutto, è stato creato un nuovo nucleo per la nuova rete aziendale, per il quale abbiamo costruito anelli fisici/logici. Questo è stato fatto in modo che ciascun switch nella rete avesse un "secondo braccio". Nella vecchia rete, molti switch si collegavano al nucleo attraverso un'unica rotta, un braccio (uplink). Se questo si rompeva, lo switch diventava completamente inaccessibile. E se più switch erano connessi tramite un unico uplink, un guasto avrebbe mandato in tilt un intero reparto o una linea di produzione dell'azienda.
Nella nuova rete, anche un incidente di rete piuttosto serio non potrà mai "mettere a terra" l'intera rete o una sua parte significativa, indipendentemente dallo scenario.
Il 90% di tutta l'attrezzatura di rete è stata aggiornata, i convertitori media (convertitori di mezzi di trasmissione del segnale) sono stati dismessi e non è più necessaria l'installazione di linee di alimentazione dedicate per alimentare l'attrezzatura grazie alla connessione a switch PoE, dove l'alimentazione viene fornita attraverso i cavi Ethernet.
Inoltre, tutte le connessioni ottiche nel server e negli armadi sono state etichettate nei punti chiave – in tutti i nodi di comunicazione. Questo ha permesso di preparare uno schema topologico dell'attrezzatura e delle connessioni nella rete, che riflette il suo stato attuale.
Schema di rete
Il risultato principale dal punto di vista tecnico: lavori infrastrutturali di notevole entità sono stati completati rapidamente, senza creare alcun disturbo all'attività dell'azienda e praticamente impercettibili per il suo personale.
Risultati aziendali del progetto
A mio avviso, questo progetto è interessante principalmente non da un punto di vista tecnico, ma organizzativo. La difficoltà risiedeva principalmente nella pianificazione e nel pensare ai passaggi per l'implementazione degli obiettivi del progetto.
Il successo del progetto conferma che la nostra iniziativa per lo sviluppo della direzione di rete all'interno del portafoglio servizi di Linxdatacenter è la scelta giusta per la direzione di crescita dell'azienda. Un approccio responsabile alla gestione dei progetti, una strategia ben pianificata e un chiaro piano d'azione ci hanno permesso di svolgere il lavoro a un livello adeguato.
Conferma della qualità del lavoro – richiesta del cliente per proseguire con l'aggiornamento della rete presso le sue altre sedi in Russia.
Fonte: habr.com
