Sono sicuro che tutti i lettori di Habr almeno una volta hanno ordinato merci da negozi online all'estero e poi sono andati a ricevere i pacchi presso un ufficio postale russo. Riesci a immaginare la portata di questo compito, dal punto di vista dell'organizzazione della logistica? Moltiplica il numero di acquirenti per il numero dei loro acquisti, immagina una mappa del nostro vasto paese e su di essa ci sono più di 40mila uffici postali... A proposito, nel 2018, Russian Post ha elaborato 345 milioni di pacchi internazionali.
In questo articolo ti racconteremo quali problemi ha dovuto affrontare Pochta e come il team di LANIT Integration li ha risolti, creando una nuova infrastruttura IT per i data center.
Uno dei moderni centri logistici delle poste russe
Prima del progetto
A causa del forte aumento del numero di pacchi provenienti da negozi esteri in Cina, Europa occidentale e Nord America, il carico sulle strutture logistiche di Russian Post è aumentato. Sono stati quindi costruiti centri logistici di nuova generazione, che utilizzano macchine selezionatrici ad alte prestazioni. Richiedono il supporto dell'infrastruttura informatica.
L'infrastruttura del data center era obsoleta e non forniva le prestazioni e l'affidabilità necessarie per il funzionamento dei sistemi informativi aziendali. Inoltre, Russian Post ha riscontrato una mancanza di potenza di calcolo per lanciare nuovi servizi.
Data center dei clienti e loro problemi
I data center delle Poste Russe servono più di 40 strutture e 000 dipartimenti territoriali. I data center gestiscono decine di servizi aziendali 85 ore su XNUMX, XNUMX giorni su XNUMX, compresi i servizi di e-commerce.
Oggi le aziende utilizzano sistemi per archiviare, analizzare ed elaborare i big data. Per tali sistemi, l’uso dell’intelligenza artificiale e degli algoritmi di machine learning gioca un ruolo importante. Oggi uno dei casi più importanti per un’impresa è ottimizzare la gestione dei flussi logistici e accelerare il servizio al cliente negli uffici postali.
Prima dell'inizio del progetto di modernizzazione, nei data center principali e di backup c'erano circa 3000 macchine virtuali, il volume delle informazioni archiviate superava i 2 petabyte. I data center avevano una complessa struttura di instradamento del traffico associata alla divisione in vari segmenti in base ai livelli di sicurezza.
Con lo sviluppo delle applicazioni e l'introduzione di nuovi servizi, la larghezza di banda esistente delle apparecchiature di rete nei data center è diventata insufficiente. Era necessaria una transizione verso interfacce con nuove velocità: 10 Gbit/s, invece di 1 Gbit/s in accesso e 40 Gbit/s a livello core, con completa ridondanza delle apparecchiature e dei canali di comunicazione.
Il dipartimento di sicurezza delle informazioni ha ricevuto l'obbligo di dividere l'infrastruttura in segmenti con un elevato livello di sicurezza delle informazioni del traffico e delle applicazioni (PN - Rete privata e DMZ - Zona demilitarizzata). Il traffico passava attraverso firewall (FWU) che non necessitavano di essere filtrati. Per questo traffico non è stato utilizzato VRF sugli switch. Le regole sul firewall non erano ottimali (decine di migliaia di regole in ogni data center).
La migrazione senza soluzione di continuità delle macchine virtuali (VM) tra data center mantenendo l'indirizzo IP e il percorso ottimale per il traffico tra i segmenti, inclusa la rete dati aziendale (CDN), era impossibile.
Per il backup è stato utilizzato MSTP; alcune porte erano bloccate (hot standby). Il core e gli switch di accesso non sono stati combinati in un cluster di failover e non è stata utilizzata l'aggregazione delle interfacce (LAG).
Con l'avvento del terzo data center, per gestire l'anello tra i data center è stata necessaria una nuova architettura e configurazione delle apparecchiature (è stata proposta EVPN).
Non esisteva un concetto unificato per lo sviluppo dei data center, documentato sotto forma di progetto e concordato con tutti i reparti del cliente. L'attuale documentazione operativa della rete era incompleta e obsoleta.
Aspettative del cliente
Il team di progetto ha affrontato i seguenti compiti:
- predisporre l'architettura e il concetto di sviluppo per la realizzazione dell'infrastruttura di rete e server del terzo data center;
- condurre un audit operativo della rete esistente del cliente;
- espandere la capacità del core della rete di oltre 1500 porte Ethernet 10/40 Gbit/s in ciascun data center (4500 porte in totale);
- garantire il funzionamento di un anello tra tre data center con la possibilità di aumentare la velocità fino a 80 Gbit/s in ciascun segmento al fine di unire le risorse informatiche del cliente provenienti da diversi data center in un unico sistema IT;
- fornire una doppia riserva del 100% di tutti gli elementi di rete per raggiungere l'obiettivo di Uptime al livello del 99,995%;
- ridurre al minimo i ritardi nel traffico tra macchine virtuali per velocizzare le applicazioni aziendali;
- raccogliere statistiche, fare analisi ed effettuare la successiva ottimizzazione delle regole di filtraggio del traffico nei data center (inizialmente c'erano circa 80 regole);
- sviluppare un'architettura target per garantire la migrazione senza interruzioni delle applicazioni aziendali critiche del cliente in uno qualsiasi dei tre data center.
Quindi avevamo qualcosa su cui lavorare.
Attrezzatura
Diamo uno sguardo più da vicino alle attrezzature che abbiamo utilizzato nel progetto.
Firewall (NGWF) USG9560:
- divisione per VSYS;
- fino a 720 Gbps;
- fino a 720 milioni di sessioni simultanee;
- 8 slot.
Router NE40E-X8:
- capacità di commutazione fino a 7,08 Tbit/s;
- prestazioni di inoltro fino a 2,880 Mpps;
- 8 slot per schede di linea (LPU);
- fino a 10 milioni di percorsi BGP IPv4 per MPU;
- fino a 1500 percorsi OSPF IPv4 per MPU;
- fino a 3000K – FIB IPv4 (a seconda della LPU).
Interruttori serie CE12800:
- Virtualizzazione dei dispositivi: VS (virtualizzazione 1:16), Cluster Switch System (CSS), Super Virtual Fabric (SVF);
- Virtualizzazione della rete: M-LAG, TRILL, VXLAN e bridging VXLAN, QinQ in VXLAN, EVN (Ethernet Virtual Network);
- a partire da VRP V2 è incluso il supporto EVPN;
- M-LAG – analogo di vPC (virtual Port Channel) per Cisco Nexus;
- Virtual Spanning Tree Protocol (VSTP) – Compatibile con Cisco PVST.
CE12804
CE12808
Software
Nel progetto abbiamo utilizzato:
- Convertitore di file di configurazione del firewall di altri fornitori in formato di comando per nuove apparecchiature;
- script proprietari per l'ottimizzazione e la conversione delle configurazioni del firewall.
Aspetto del convertitore per convertire i file di configurazione
Schema di organizzazione della comunicazione tra data center (EVPN VXLAN)
Sfumature di installazione dell'attrezzatura
CE12808
- EVPN (standard) invece di EVN (proprietario Huawei) per la comunicazione tra data center:
○ L2 su L3 utilizzando iBGP nel piano di controllo;
○ Formazione MAC e loro pubblicità tramite la famiglia iBGP EVPN (percorsi MAC, tipo 2);
○ costruzione automatica di tunnel VXLAN per traffico broadcast/unicast sconosciuto (Inclusive Multicast Routes, tipo 3). - Due modalità di divisione su VS:
○ basato su porte (port-mode port) o basato su ASIC (port-mode group, display port-map del dispositivo);
○ L'interfaccia della dimensione divisa della porta 40GE funziona SOLO in VS Admin (indipendentemente dalla modalità della porta).
USG9560
- possibilità di divisione per VSYS,
- Il routing dinamico e la perdita di percorso non sono possibili tra VSYS!
CE12804
Tutti i GW attivi (VRRP Master/Master/Master) con filtraggio MAC VRRP tra data center
acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit
interface Eth-Trunk1
traffic-filter acl 4000 outbound
Schema di interazione delle risorse tra data center (VXLAN EVPN e All Active GW)
Difficoltà del progetto
La difficoltà principale era la necessità di eseguire il backup delle applicazioni esistenti utilizzando l'infrastruttura informatica. Il cliente aveva più di 100 applicazioni diverse, alcune delle quali scritte quasi 10 anni fa. Ad esempio, se per Yandex fosse possibile disattivare facilmente diverse centinaia di macchine virtuali senza danneggiare gli utenti finali, in Russian Post tale approccio richiederebbe lo sviluppo di una serie di applicazioni da zero e cambiamenti nell'architettura dei sistemi informativi aziendali. Abbiamo risolto i problemi sorti durante il processo di migrazione e ottimizzazione nella fase di audit congiunto dell'infrastruttura informatica. Tutte le tecnologie di rete nuove per l'azienda (come EVPN) sono state sottoposte a test preliminari in laboratorio.
Risultati del progetto
Il team di progetto comprendeva specialisti , il cliente e i suoi partner nella gestione dell'infrastruttura informatica. Sono stati inoltre formati team di supporto dedicati dei fornitori (Check Point e Huawei). Il progetto è durato due anni. Questo è ciò che è stato fatto in questo periodo.
- Una strategia per lo sviluppo di una rete di data center, una Corporate Data Network (CDTN) e un anello tra data center è stata sviluppata e concordata con tutti i dipartimenti del cliente.
- La disponibilità dei servizi è aumentata. Ciò è stato notato dall'attività del cliente e ha portato ad un aumento ancora maggiore del traffico grazie all'introduzione di nuovi servizi.
- Più di 40 regole sono state migrate e ottimizzate da FWSM/ASA a USG 000. Diversi contesti ASA su UGG 9560 sono stati combinati in un'unica policy di sicurezza.
- Il throughput delle porte del data center è stato aumentato da 1G a 10/40G attraverso l'uso di CE12800/CE6850. Ciò ha permesso di eliminare i sovraccarichi dell'interfaccia e la perdita di pacchetti.
- I router carrier-grade NE40E-X8 hanno soddisfatto completamente le esigenze del data center e del centro di trasferimento dati del cliente, tenendo conto del futuro sviluppo del business.
- Sono state richieste otto nuove Feature Requests per USG 9560. Di queste, sette sono già state implementate e sono incluse nell'attuale versione del VRP. 1 FR - per l'implementazione nella ricerca e sviluppo Huawei. Si tratta di un cluster a otto chassis con la possibilità di configurare le funzionalità necessarie per la sincronizzazione della configurazione senza sincronizzazione della sessione. È necessario se il ritardo del traffico verso uno dei data center è troppo elevato (Adler - Mosca 1300 km lungo il percorso principale e 2800 km lungo il percorso di riserva).
Il progetto non ha analoghi rispetto ad altre società postali russe.
La modernizzazione dell'infrastruttura di rete dei data center ha aperto nuove opportunità per le imprese di sviluppare servizi digitali.
- Fornitura di un account personale e di un'applicazione mobile per persone fisiche e giuridiche.
- Integrazione con negozi elettronici per fornire servizi di consegna merci.
- Adempimento: stoccaggio di merci, formazione e consegna di ordini da negozi elettronici.
- Espansione dei punti di ritiro degli ordini, incluso l'utilizzo di reti di affiliazione.
- Flusso documentale giuridicamente rilevante con le controparti. Ciò eliminerà l'invio lento e costoso di documenti cartacei.
- Accettazione di lettere raccomandate in formato elettronico con recapito sia in formato elettronico che cartaceo (con stampa degli invii il più vicino possibile al destinatario finale). Servizio di lettere raccomandate elettroniche sul portale dei servizi pubblici.
- Piattaforma per l'erogazione di servizi di telemedicina.
- Ricezione semplificata e recapito semplificato delle raccomandate tramite una semplice firma elettronica.
- Digitalizzazione della rete degli uffici postali.
- Riprogettazione dei servizi self-service (terminali e terminali pacchi).
- Creazione di una piattaforma digitale per la gestione del servizio di corriere e di una nuova applicazione mobile per i clienti del servizio di corriere.
Vieni a lavorare con noi!
Fonte: habr.com