Estic segur que tots els lectors d'Habr almenys una vegada van demanar productes a les botigues en línia a l'estranger i després van anar a rebre paquets a l'oficina de correus de Rússia. Us imagineu l'envergadura d'aquesta tasca pel que fa a l'organització de la logística? Multipliqueu el nombre de compradors pel nombre de les seves compres, imagineu-vos un mapa del nostre vast país i, sobre ell, més de 40 mil oficines de correus... Per cert, el 2018, Russian Post va processar 345 milions de paquets internacionals.
En aquest article us explicarem quins problemes es va enfrontar al Post i com els va resoldre l'equip de LANIT-Integration, creant una nova infraestructura informàtica per als centres de dades.
Un dels centres logístics moderns de Russian Post
Abans del projecte
A causa d'un fort augment del nombre de paquets de botigues estrangeres a la Xina, Europa occidental i Amèrica del Nord, la càrrega de les instal·lacions logístiques de Russian Post ha augmentat. Per això, s'ha construït una nova generació de centres logístics, que utilitzen màquines de classificació d'alta capacitat. Necessiten suport de la infraestructura informàtica.
La infraestructura del centre de dades estava obsoleta i no proporcionava el rendiment i la fiabilitat necessaris en el funcionament dels sistemes d'informació empresarial. A més, Russian Post va experimentar una manca de potència informàtica per llançar nous serveis.
Centres de dades de clients i els seus problemes
Els centres de dades de Russian Post donen servei a més de 40 objectes, 000 oficines territorials. Desenes de serveis empresarials les 85 hores del dia operen als centres de dades, inclosos els serveis de comerç electrònic.
Actualment, l'empresa utilitza sistemes per emmagatzemar, analitzar i processar grans dades. Per a aquests sistemes, l'ús de la intel·ligència artificial i els algorismes d'aprenentatge automàtic té un paper important. Fins ara, un dels casos més importants per a l'empresa és l'optimització de la gestió del flux logístic i l'acceleració de l'atenció al client a les oficines de correus.
Abans de l'inici del projecte d'actualització, hi havia unes 3000 màquines virtuals als centres de dades principals i de còpia de seguretat, la quantitat d'informació emmagatzemada superava els 2 petabytes. Els centres de dades tenien una complexa estructura d'encaminament del trànsit associada a la divisió en diferents segments segons els nivells de seguretat.
Amb el desenvolupament d'aplicacions i la introducció de nous serveis, l'ample de banda existent dels equips de xarxa als centres de dades s'ha tornat insuficient. Es va requerir una transició a interfícies amb noves velocitats: 10 Gb/s, en lloc d'1 Gb/s per a l'accés i 40 Gb/s a nivell central, amb total redundància d'equips i canals de comunicació.
Des del departament de seguretat de la informació es va rebre el requeriment de dividir la infraestructura en segments amb un alt nivell de seguretat de la informació de trànsit i aplicacions (PN - Xarxa Privada i DMZ - Zona Desmilitaritzada). Els tallafocs (ITU) van passar trànsit que no calia filtrar. El VRF dels commutadors no es va utilitzar per a aquest trànsit. Les regles de la ITU eren subòptimes (desenes de milers de regles a cada centre de dades).
La migració perfecta de màquines virtuals (VM) entre centres de dades mantenint l'adreça IP i el camí òptim per al trànsit entre segments, inclosa la xarxa de dades corporativa (CDTN), no va ser possible.
MSTP es va utilitzar per a la redundància, alguns ports es van bloquejar (hot standby). El nucli i els commutadors d'accés no es van agrupar en clúster i no es va utilitzar cap agregació d'interfícies (LAG).
Amb l'arribada del tercer centre de dades, es va requerir una nova arquitectura i configuració d'equips per operar l'anell entre centres de dades (es va proposar EVPN).
No hi havia un concepte únic per al desenvolupament de centres de dades, documentat en forma de projecte i consensuat amb tots els departaments del client. La documentació actual de funcionament de la xarxa estava incompleta i obsoleta.
Expectatives del client
L'equip del projecte tenia les següents tasques:
- preparar el concepte d'arquitectura i desenvolupament per construir la infraestructura de xarxa i servidor del tercer centre de dades;
- realitzar una auditoria operativa de la xarxa existent del client;
- ampliar la capacitat del nucli de xarxa en més de 1500 ports Ethernet de 10/40 Gb/s a cada centre de dades (4500 ports en total);
- garantir el funcionament de l'anell entre tres centres de dades amb la possibilitat d'augmentar la velocitat fins a 80 Gb/s en cadascun dels segments per tal de combinar els recursos informàtics del client de diferents centres de dades en un únic sistema informàtic;
- proporcionar una reserva doble del 100% de tots els elements de la xarxa per assolir l'objectiu de temps de funcionament al nivell del 99,995%;
- minimitzar els retards de trànsit entre màquines virtuals per accelerar les aplicacions empresarials;
- recopilar estadístiques, analitzar i optimitzar encara més les regles de filtratge de trànsit als centres de dades (inicialment hi havia unes 80 regles);
- desenvolupar una arquitectura objectiu per garantir la migració perfecta de les aplicacions empresarials crítiques del client a qualsevol dels tres centres de dades.
Per tant, teníem alguna cosa a treballar.
Оборудование
Anem a veure amb més detall quins equips hem utilitzat en el projecte.
Tallafoc (NGWF) USG9560:
- divisió per VSYS;
- fins a 720 Gbps;
- fins a 720 milions de sessions simultànies;
- 8 ranures.
Encaminador NE40E-X8:
- fins a 7,08 Tbit/s de capacitat de commutació;
- Rendiment de reenviament de fins a 2,880 Mpps;
- 8 ranures per a targetes de línia (LPU);
- fins a 10 M de rutes BGP IPv4 per MPU;
- fins a 1500 4 rutes OSPF IPvXNUMX per MPU;
- fins a 3000K - IPv4 FIB (depèn de la LPU).
Commutadors de la sèrie CE12800:
- Virtualització de dispositius: VS (virtualització 1:16), Cluster Switch System (CSS), Super Virtual Fabric (SVF);
- Virtualització de xarxa: pont M-LAG, TRILL, VXLAN i VXLAN, QinQ a VXLAN, EVN (Xarxa virtual Ethernet);
- a partir de VRP V2, s'inclou el suport EVPN;
- M-LAG és un anàleg de vPC (canal de port virtual) per a Cisco Nexus;
- Virtual Spanning Tree Protocol (VSTP) - Compatible amb Cisco PVST.
CE12804
CE12808
Programari
En el projecte hem utilitzat:
- convertidor de fitxers de configuració per a tallafocs d'altres proveïdors en format d'ordres per a equips nous;
- scripts de disseny propi per optimitzar i transformar la configuració dels tallafocs.
Aspecte del convertidor per convertir fitxers de configuració
Esquema de comunicació entre centres de dades (EVPN VXLAN)
Els matisos de la configuració de l'equip
CE12808
- EVPN (estàndard) en lloc d'EVN (propietat de Huawei) per a la comunicació entre centres de dades:
○ L2 sobre L3 utilitzant iBGP al pla de control;
○ Formació i anunci MAC mitjançant la família iBGP EVPN (rutes MAC, tipus 2);
○ construcció automàtica de túnels VXLAN per a trànsit unicast broadcast/desconegut (Inclusive Multicast Routes, tipus 3). - Dos modes de divisió a VS:
○ basat en ports (port en mode port) o basat en ASIC (grup en mode port, mapa de ports del dispositiu de visualització);
○ La interfície de dimensió dividida del port 40GE NOMÉS funciona en Admin VS (independentment del mode de port).
USG9560
- possibilitat de dividir per VSYS,
- entre l'encaminament dinàmic VSYS i la filtració de rutes és impossible!
CE12804
Tots els GW actius (VRRP Master/Master/Master) amb filtratge MAC VRRP entre centres de dades
acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit
interface Eth-Trunk1
traffic-filter acl 4000 outbound
Esquema d'interacció de recursos entre centres de dades (VXLAN EVPN i All Active GW)
Complexitat del projecte
La principal dificultat va ser la necessitat de fer una còpia de seguretat de les aplicacions existents mitjançant la infraestructura informàtica. El client tenia més de 100 aplicacions diferents, algunes de les quals es van escriure fa gairebé 10 anys. Per exemple, si per a Yandex és possible apagar fàcilment diversos centenars de màquines virtuals sense danyar els usuaris finals, a Russian Post aquest enfocament requeriria el desenvolupament d'una sèrie d'aplicacions des de zero i canvis en l'arquitectura dels sistemes d'informació empresarials. Hem resolt els problemes sorgits en el procés de migració i optimització en l'etapa d'una auditoria conjunta de la infraestructura informàtica. Totes les tecnologies de xarxa noves per a l'empresa (com ara EVPN) s'han provat prèviament al laboratori.
Resultats del projecte
L'equip del projecte va incloure especialistes , el client i els seus socis en l'explotació de la infraestructura informàtica. També es van formar equips de suport dedicats dels venedors (Check Point i Huawei). El projecte va durar dos anys. Aquí teniu el que s'ha fet durant aquest temps.
- Es va desenvolupar i acordar amb tots els departaments del client una estratègia per al desenvolupament d'una xarxa de centres de dades, una xarxa de transmissió de dades corporativa (CSTN) i un anell entre centres de dades.
- Augment de la disponibilitat del servei. Així ho va notar el negoci del client i va provocar un augment encara més gran del trànsit a causa de la introducció de nous serveis.
- S'han migrat i optimitzat més de 40 regles de FWSM/ASA a USG 000. Diferents contextos ASA a UGG 9560 s'han fusionat en una única política de seguretat.
- El rendiment dels ports del centre de dades s'ha augmentat d'1G a 10/40G mitjançant l'ús de CE12800/CE6850. Això va permetre eliminar les sobrecàrregues d'interfície i la pèrdua de paquets.
- Els encaminadors de classe Carrier NE40E-X8 cobreixen completament les necessitats del centre de dades del client i KSPD, tenint en compte el desenvolupament empresarial futur.
- S'han sol·licitat vuit noves sol·licituds de funcions per a USG 9560. D'aquestes, set ja s'han implementat i s'inclouen a la versió actual de VRP. 1 FR està sent implementat per Huawei R+D. Es tracta d'un clúster per a vuit xassís amb la possibilitat de configurar la funcionalitat necessària per sincronitzar la configuració sense sincronitzar sessions. Necessari si el retard del trànsit a un dels centres de dades és massa elevat (Adler - Moscou 1300 km al llarg de la ruta principal i 2800 km al llarg de la ruta de seguretat).
El projecte no té anàlegs en comparació amb altres companyies postals a Rússia.
La modernització de la infraestructura de la xarxa del centre de dades ha obert noves oportunitats a l'empresa per desenvolupar serveis digitals.
- Proporcionar un compte personal i una aplicació mòbil per a persones físiques i jurídiques.
- Integració amb botigues d'electrònica per oferir serveis de lliurament de mercaderies.
- El compliment és l'emmagatzematge de mercaderies, la formació i el lliurament de comandes de botigues electròniques.
- Ampliació dels punts d'emissió de comandes, fins i tot amb l'ús de xarxes de socis.
- Flux de documents legalment significatiu amb els contractistes. Això eliminarà l'entrega lenta i costosa de documents en paper.
- Acceptació de cartes certificades en format electrònic amb lliurament tant en format electrònic com en paper (amb impressió dels enviaments el més a prop possible del destinatari final). Servei de cartes certificades electròniques al portal de serveis públics.
- Plataforma per a la prestació de serveis de telemedicina.
- Acceptació simplificada i lliurament simplificat d'enviaments postals certificats mitjançant una simple signatura electrònica.
- Digitalització de la xarxa de correus.
- Tramitació de serveis d'autoservei (terminals i màquines de paquet).
- Creació d'una plataforma digital per a la gestió del servei de missatgeria i una nova aplicació mòbil per als clients del servei de missatgeria.
Vine a treballar amb nosaltres!
Font: www.habr.com