Sò sicuru chì tutti i lettori di Habr, almenu una volta, anu urdinatu merchenzie in i magazzini in linea à l'esteru è dopu andonu à riceve pacchi à l'uffiziu postale russu. Pudete imaginà a scala di stu compitu in quantu à l'urganizazione di a logistica? Multiplicà u nùmeru di cumpratori per u numeru di e so compra, imagine una mappa di u nostru vastu paese, è nantu à questu - più di 40 mila uffizii postali ... In modu, in 2018, Russian Post hà processatu 345 milioni di pacchi internaziunali.
In questu articulu, vi diceremu quale prublemi hà affruntatu u Post è cumu a squadra di LANIT-Integrazione li risolve, creendu una nova infrastruttura IT per i centri di dati.
Unu di i centri logistichi muderni di Russian Post
Prima di u prugettu
A causa di un forte aumentu di u nùmeru di pacchi da i magazzini stranieri in Cina, l'Europa Occidentale è l'America di u Nordu, a carica nantu à e facilità logistiche di a Posta Russa hè aumentata. Per quessa, una nova generazione di centri logistichi hè stata custruita, chì utilizanu macchine di classificazione d'alta capacità. Hanu bisognu di supportu da l'infrastruttura informatica.
L'infrastruttura di u centru di dati era obsoleta è ùn hà micca furnitu u funziunamentu necessariu è l'affidabilità in u funziunamentu di i sistemi d'infurmazione di l'impresa. Inoltre, Russian Post hà avutu una mancanza di putenza informatica per lancià novi servizii.
I centri di dati di i clienti è i so prublemi
I centri di dati Russian Post servenu più di 40 000 oggetti, 85 uffizii territuriali. Decine di servizii di cummerciale XNUMX ore à ghjornu operanu in centri di dati, cumpresi i servizii di e-commerce.
Dighjà oghje, l'impresa usa sistemi per almacenà, analizà è trasfurmà i big data. Per tali sistemi, l'usu di l'intelligenza artificiale è l'algoritmi d'apprendimentu automaticu ghjucanu un rolu impurtante. A data, unu di i casi più impurtanti per l'impresa hè l'ottimisazione di a gestione di u flussu logisticu è l'accelerazione di u serviziu di u cliente in l'uffizii postali.
Prima di l'iniziu di u prughjettu di l'aghjurnamentu, ci era circa 3000 macchine virtuali in i centri di dati principali è di salvezza, a quantità di infurmazione almacenata superava 2 petabytes. I centri di dati avianu una struttura cumplessa di routing di u trafficu assuciatu cù a divisione in diversi segmenti secondu i livelli di sicurità.
Cù u sviluppu di l'applicazioni è l'intruduzioni di novi servizii, a larghezza di banda esistenti di l'equipaggiu di rete in i centri di dati hè diventata insufficiente. Una transizione à l'interfacce cù novi velocità era necessaria: 10 Gb / s, invece di 1 Gb / s per l'accessu è 40 Gb / s à u livellu core, cù una redundanza completa di l'equipaggiu è i canali di cumunicazione.
Da u dipartimentu di securità di l'infurmazioni, un requisitu hè statu ricevutu per dividisce l'infrastruttura in segmenti cù un altu livellu di sicurità di l'infurmazioni di u trafficu è l'applicazioni (PN - Private Network è DMZ - Demilitarized Zone). Firewalls (ITU) hà passatu u trafficu chì ùn era micca necessariu di filtrà. VRF ùn hè micca usatu in i switches per tali trafficu. E regule in l'ITU eranu subottimali (decine di millaie di regule in ogni centru di dati).
A migrazione senza saldatura di e macchine virtuali (VM) trà i centri di dati mantenendu l'indirizzu IP è u percorsu ottimale per u trafficu trà i segmenti, cumprese a rete di dati corporativi (CDTN), ùn era micca pussibule.
MSTP hè stata utilizata per a redundanza, certi porti sò stati bluccati (hot standby). I switches di core è d'accessu ùn eranu micca raggruppati in failover, è ùn hè stata utilizata alcuna aggregazione di l'interfaccia (LAG).
Cù l'avventu di u terzu centru di dati, una nova architettura è a cunfigurazione di l'equipaggiu era necessariu per operà l'anellu trà i centri di dati (EVPN hè statu prupostu).
Ùn ci era micca un cuncettu unicu per u sviluppu di centri di dati, documentatu in forma di prughjettu è accunsentutu cù tutti i dipartimenti di u cliente. A documentazione attuale di l'operazione di a rete era incompleta è obsoleta.
Aspittà di i clienti
A squadra di u prugettu hà avutu i seguenti compiti:
- preparanu l'architettura è u cuncettu di sviluppu per a custruzzione di a rete è l'infrastruttura di u servitore di u terzu centru di dati;
- realizà un auditu operativu di a reta esistenti di u cliente;
- espansione a capacità di u core di a rete da più di 1500 porti Ethernet 10/40 Gb/s in ogni centru di dati (4500 porti in totale);
- assicurà u funziunamentu di l'anellu trà trè centri di dati cù a pussibilità di aumentà a velocità finu à 80 Gb / s in ognuna di i segmenti per unisce e risorse informatiche di u cliente da diversi centri di dati in un solu sistema IT;
- furnisce 100% doppia riserva di tutti l'elementi di a reta per ghjunghje u scopu Uptime à u livellu di 99,995%;
- minimizzà i ritardi di trafficu trà e macchine virtuali per accelerà l'applicazioni cummerciale;
- raccoglie statistiche, analizà è ottimisate ancu e regule di filtrazione di u trafficu in i centri di dati (iniziu ci era circa 80 000 regule);
- sviluppà una architettura di destinazione per assicurà a migrazione senza saldatura di l'applicazioni cummerciale critiche di u cliente à qualsiasi di i trè centri di dati.
Cusì, avemu avutu qualcosa à travaglià.
Equipment
Fighjemu un ochju più vicinu à l'equipaggiu chì avemu usatu in u prugettu.
Firewall (NGWF) USG9560:
- divisione da VSYS;
- finu à 720 Gbps;
- finu à 720 milioni di sessioni simultanee;
- 8 slot.
Router NE40E-X8:
- Finu à 7,08 Tbit/s Capacità di Switching;
- Finu à 2,880 Mpps Forwarding Performance;
- 8 slot per carte di linea (LPU);
- finu à 10 M di rotte BGP IPv4 per MPU;
- finu à 1500K OSPF IPv4 routes per MPU;
- finu à 3000K - IPv4 FIB (dipende da LPU).
Interruttori di a serie CE12800:
- Virtualization Device: VS (virtualizazione 1:16), Cluster Switch System (CSS), Super Virtual Fabric (SVF);
- Virtualization Network: M-LAG, TRILL, VXLAN è VXLAN bridging, QinQ in VXLAN, EVN (Ethernet Virtual Network);
- principiendu cù VRP V2, u supportu EVPN hè inclusu;
- M-LAG - analogu di vPC (canale di portu virtuale) per Cisco Nexus;
- Virtual Spanning Tree Protocol (VSTP) - Compatibile cù Cisco PVST.
CE12804
CE12808
Software
In u prugettu avemu usatu:
- cunvertitore di schedarii di cunfigurazione per firewall di altri venditori in formatu di cumandamentu per u novu equipamentu;
- scripts di u nostru propiu disignu per ottimisà è trasfurmà a cunfigurazione di firewalls.
Apparizione di u cunvertitore per cunvertisce i schedarii di cunfigurazione
Schema di cumunicazione trà i centri di dati (EVPN VXLAN)
I sfumaturi di a stallazione di l'equipaggiu
CE12808
- EVPN (standard) invece di EVN (proprietata di Huawei) per a cumunicazione trà i centri di dati:
○ L2 sopra L3 utilizendu iBGP in u pianu di cuntrollu;
○ Formazione MAC è annunziu via famiglia iBGP EVPN (rotte MAC, tipu 2);
○ custruzzione automatica di tunnelli VXLAN per u trafficu unicast broadcast / scunnisciutu (Route Multicast incluse, tipu 3). - Dui modi di divisione nantu à VS:
○ basatu nantu à i porti (port-mode portu) o basatu annantu à ASIC (port-mode group, display device port-map);
○ L'interfaccia di dimensione di u portu split 40GE funziona SOLAMENTE in Admin VS (indipendentemente da u portu-mode).
USG 9560
- pussibilità di divide per VSYS,
- trà l'itinerariu dinamicu VSYS è a fuga di rotta hè impussibile!
CE12804
All Active GW (VRRP Master/Master/Master) cù filtru MAC VRRP trà i centri di dati
acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit
interface Eth-Trunk1
traffic-filter acl 4000 outbound
Schema di interazione di risorse trà i centri di dati (VXLAN EVPN è All Active GW)
A cumplessità di u prugettu
A difficultà principale era a necessità di fà una copia di salvezza di l'applicazioni esistenti cù l'infrastruttura di l'informatica. U cliente hà avutu più di 100 applicazioni diverse, alcune di e quali eranu scritte quasi 10 anni fà. Per esempiu, se per Yandex hè pussibule disattivà facilmente parechje centinaie di macchine virtuali senza dannà l'utilizatori finali, allora in Russian Post un tali approcciu richiede u sviluppu di una quantità di applicazioni da zero è cambiamenti in l'architettura di i sistemi d'infurmazione di l'impresa. Avemu risoltu i prublemi chì si sviluppanu in u prucessu di migrazione è ottimisazione in u stadiu di un auditu cumuni di l'infrastruttura di l'informatica. Tutte e tecnulugia di rete novi per l'impresa (cum'è EVPN) sò state pre-testate in u laboratoriu.
I risultati di u prugettu
A squadra di u prugettu includeva specialisti , u cliente è i so cumpagni in u funziunamentu di l'infrastruttura di l'informatica. E squadre di supportu dedicate da i venditori (Check Point è Huawei) sò state formate ancu. U prughjettu hà pigliatu dui anni. Eccu ciò chì hè statu fattu in questu tempu.
- Una strategia per u sviluppu di una reta di centri di dati, una reta di trasmissione di dati corporativi (CSTN) è un anellu trà i centri di dati hè stata sviluppata è accunsentutu cù tutti i dipartimenti di u cliente.
- A dispunibilità di serviziu aumentata. Questu hè statu nutatu da l'affari di u cliente è hà purtatu à un aumentu ancu più grande di u trafficu per l'intruduzioni di novi servizii.
- Più di 40 regule sò stati migrati è ottimizzati da FWSM / ASA à USG 000. Diversi cuntesti ASA nantu à UGG 9560 sò stati fusionati in una sola pulitica di sicurità.
- U throughput di i porti di u centru di dati hè statu aumentatu da 1G à 10/40G cù l'usu di CE12800/CE6850. Questu hà permessu di eliminà i sovraccarichi di l'interfaccia è a perdita di pacchetti.
- I routers di classe Carrier NE40E-X8 coprenu cumplettamente i bisogni di u centru di dati di u cliente è KSPD, tenendu in contu u sviluppu di u futuru cummerciale.
- Ottu novi Richieste di Funzioni sò stati dumandati per USG 9560. Di questi, sette sò digià implementati è sò inclusi in a versione attuale di VRP. 1 FR hè implementatu da Huawei R&D. Questu hè un cluster per ottu chassis cù a capacità di cunfigurà a funziunalità necessaria per sincronizà a cunfigurazione senza sincronizà sessioni. Ubligatoriu se u ritardu di trafficu à unu di i centri di dati hè troppu altu (Adler - Mosca 1300 km longu a strada principale è 2800 km longu a strada di salvezza).
U prughjettu ùn hà micca analoghi in paragone cù altre cumpagnie postali in Russia.
A mudernizazione di l'infrastruttura di a rete di u centru di dati hà apertu novi opportunità per l'impresa di sviluppà servizii digitale.
- Furnisce un contu persunale è una applicazione mobile per individui è persone giuridiche.
- Integrazione cù i magazzini elettronici per furnisce servizii di consegna di merchenzie.
- U cumplimentu hè u almacenamentu di merchenzie, a furmazione è a consegna di ordini da i magazzini elettroni.
- Espansione di i punti di emissione di ordini, ancu cù l'usu di e rete di partenarii.
- Flussu di documenti legalmente significativu cù i contractors. Questu eliminerà a consegna lenta è costosa di documenti di carta.
- Accettazione di lettere registrate in forma elettronica cù consegna in forma elettronica è carta (cù stampa di l'articuli u più vicinu pussibule à u destinatariu finale). Serviziu di lettere registrate elettroniche nantu à u portale di servizii publichi.
- Piattaforma per a prestazione di servizii di telemedicina.
- Accettazione simplificata è consegna simplificata di articuli postali registrati cù una firma elettronica simplice.
- Digitalizazione di a reta di l'uffizii postali.
- Trattamentu di servizii self-service (terminali è macchine pacchi).
- Creazione di una piattaforma digitale per a gestione di u serviziu di messageria è una nova applicazione mobile per i clienti di u serviziu di messageria.
Venite à travaglià cun noi !
Source: www.habr.com