Som si istý, že všetci čitatelia Habr si aspoň raz objednali tovar z internetových obchodov v zahraničí a potom si išli prevziať balíky na ruskú poštu. Viete si predstaviť rozsah tejto úlohy z pohľadu organizácie logistiky? Vynásobte počet kupujúcich počtom ich nákupov, predstavte si mapu našej obrovskej krajiny a na nej je viac ako 40 tisíc pôšt... Mimochodom, v roku 2018 Ruská pošta spracovala 345 miliónov medzinárodných balíkov.
V tomto článku vám povieme, akým problémom Pochta čelil a ako ich vyriešil tím LANIT Integration, ktorý vytvoril novú IT infraštruktúru pre dátové centrá.
Jedno z moderných logistických centier Ruskej pošty
Pred projektom
V dôsledku prudkého nárastu počtu balíkov zo zahraničných obchodov v Číne, západnej Európe a Severnej Amerike sa zvýšilo zaťaženie logistických zariadení Ruskej pošty. Preto boli vybudované logistické centrá novej generácie, ktoré využívajú vysokovýkonné triediace stroje. Vyžadujú podporu od výpočtovej infraštruktúry.
Infraštruktúra dátového centra bola zastaraná a neposkytovala potrebný výkon a spoľahlivosť pri prevádzke podnikových informačných systémov. Ruská pošta tiež zaznamenala nedostatok výpočtového výkonu na spustenie nových služieb.
Zákaznícke dátové centrá a ich problémy
Dátové centrá Ruskej pošty obsluhujú viac ako 40 000 zariadení a 85 územných oddelení. Dátové centrá prevádzkujú desiatky XNUMX/XNUMX obchodných služieb vrátane služieb elektronického obchodu.
Dnes podniky používajú systémy na ukladanie, analýzu a spracovanie veľkých dát. Pre takéto systémy hrá dôležitú úlohu použitie umelej inteligencie a algoritmov strojového učenia. Dnes je jedným z najdôležitejších prípadov pre podnik optimalizácia riadenia logistických tokov a zrýchlenie služieb zákazníkom na poštách.
Pred spustením projektu modernizácie bolo v hlavnom a záložnom dátovom centre asi 3000 virtuálnych strojov, objem uložených informácií presahoval 2 petabajty. Dátové centrá mali zložitú štruktúru smerovania prevádzky spojenú s rozdelením do rôznych segmentov podľa úrovní zabezpečenia.
S rozvojom aplikácií a zavádzaním nových služieb sa doterajšia šírka pásma sieťových zariadení v dátových centrách stala nedostatočnou. Požadovaný bol prechod na rozhrania s novými rýchlosťami: 10 Gbit/s namiesto 1 Gbit/s na prístupe a 40 Gbit/s na úrovni jadra, s plnou redundanciou zariadení a komunikačných kanálov.
Oddelenie informačnej bezpečnosti dostalo požiadavku rozdeliť infraštruktúru na segmenty s vysokou úrovňou informačnej bezpečnosti prevádzky a aplikácií (PN - Privátna sieť a DMZ - Demilitarizovaná zóna). Prevádzka prechádzala cez firewally (FWU), ktoré nebolo potrebné filtrovať. VRF na prepínačoch nebolo pre túto prevádzku použité. Pravidlá na firewalle neboli optimálne (desaťtisíce pravidiel v každom dátovom centre).
Bezproblémová migrácia virtuálnych strojov (VM) medzi dátovými centrami pri zachovaní IP adresy a optimálnej cesty pre prevádzku medzi segmentmi, vrátane podnikovej dátovej siete (CDN), bola nemožná.
Na zálohovanie bol použitý protokol MSTP, niektoré porty boli zablokované (horúca pohotovostný režim). Jadro a prístupové prepínače neboli spojené do klastra prepnutia pri zlyhaní a nepoužila sa agregácia rozhraní (LAG).
S príchodom tretieho dátového centra bola potrebná nová architektúra a konfigurácia vybavenia na prevádzku kruhu medzi dátovými centrami (bolo navrhnuté EVPN).
Neexistovala jednotná koncepcia rozvoja dátových centier, zdokumentovaná vo forme projektu a dohodnutá so všetkými oddeleniami zákazníka. Aktuálna prevádzková dokumentácia siete bola neúplná a neaktuálna.
Očakávania zákazníkov
Projektový tím stál pred týmito úlohami:
- pripraviť architektúru a koncepciu rozvoja pre vybudovanie sieťovej a serverovej infraštruktúry tretieho dátového centra;
- vykonať prevádzkový audit existujúcej siete zákazníka;
- rozšírenie kapacity jadra siete o viac ako 1500 10 40/4500 Gbps ethernetových portov v každom dátovom centre (celkovo XNUMX XNUMX portov);
- zabezpečiť prevádzku kruhu medzi tromi dátovými centrami s možnosťou zvýšenia rýchlosti až na 80 Gbit/s v každom segmente s cieľom spojiť výpočtové zdroje zákazníka z rôznych dátových centier do jedného IT systému;
- poskytnúť 100% dvojnásobnú rezervu všetkých sieťových prvkov na dosiahnutie cieľovej Uptime na úrovni 99,995%;
- minimalizovať dopravné oneskorenia medzi virtuálnymi strojmi na zrýchlenie podnikových aplikácií;
- zhromažďovať štatistiky, robiť analýzy a vykonávať následnú optimalizáciu pravidiel filtrovania návštevnosti v dátových centrách (pôvodne to bolo asi 80 000 pravidiel);
- vytvoriť cieľovú architektúru na zabezpečenie bezproblémovej migrácie kritických podnikových aplikácií zákazníka do ktoréhokoľvek z troch dátových centier.
Mali sme teda na čom pracovať.
Оборудование
Pozrime sa bližšie na to, aké vybavenie sme v projekte použili.
Firewall (NGWF) USG9560:
- rozdelenie podľa VSYS;
- až 720 Gbps;
- až 720 miliónov simultánnych relácií;
- 8 slotov.
Smerovač NE40E-X8:
- prepínacia kapacita až 7,08 Tbit/s;
- až 2,880 XNUMX Mpps výkon pri presmerovaní;
- 8 slotov pre linkové karty (LPU);
- až 10 miliónov BGP IPv4 trás na MPU;
- až 1500 4 trás OSPF IPvXNUMX na MPU;
- až 3000K – IPv4 FIB (v závislosti od LPU).
Prepínače série CE12800:
- Virtualizácia zariadení: VS (virtualizácia 1:16), Cluster Switch System (CSS), Super Virtual Fabric (SVF);
- Virtualizácia siete: M-LAG, TRILL, premostenie VXLAN a VXLAN, QinQ vo VXLAN, EVN (Virtuálna sieť Ethernet);
- od VRP V2 je zahrnutá podpora EVPN;
- M-LAG – analóg vPC (virtual Port Channel) pre Cisco Nexus;
- Virtual Spanning Tree Protocol (VSTP) – kompatibilný s Cisco PVST.
CE12804
CE12808
Softvér
V projekte sme použili:
- Konvertor konfiguračných súborov brány firewall od iných dodávateľov do príkazového formátu pre nové zariadenia;
- proprietárne skripty na optimalizáciu a konverziu konfigurácií firewallu.
Vzhľad konvertora na konverziu konfiguračných súborov
Schéma organizácie komunikácie medzi dátovými centrami (EVPN VXLAN)
Nuansy nastavenia zariadenia
CE12808
- EVPN (štandardné) namiesto EVN (proprietárne Huawei) na komunikáciu medzi dátovými centrami:
○ L2 cez L3 pomocou iBGP v riadiacej rovine;
○ Školenie MAC a ich reklama prostredníctvom rodiny iBGP EVPN (trasy MAC, typ 2);
○ automatická výstavba tunelov VXLAN pre vysielanie/neznámy unicast prenos (Inclusive Multicast Routes, typ 3). - Dva režimy delenia na VS:
○ na základe portov (port režimu portu) alebo na základe ASIC (skupina režimov portov, mapa portov zobrazovacieho zariadenia);
○ rozhranie s rozdelením portov 40GE funguje LEN v Admin VS (bez ohľadu na režim portu).
9560 USG
- možnosť delenia podľa VSYS,
- Dynamické smerovanie a únik trasy medzi VSYS nie je možný!
CE12804
Všetky aktívne GW (VRRP Master/Master/Master) s filtrovaním MAC VRRP medzi dátovými centrami
acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit
interface Eth-Trunk1
traffic-filter acl 4000 outbound
Schéma interakcie zdrojov medzi dátovými centrami (VXLAN EVPN a All Active GW)
Projektové ťažkosti
Hlavným problémom bola potreba zálohovať existujúce aplikácie pomocou výpočtovej infraštruktúry. Zákazník mal k dispozícii viac ako 100 rôznych aplikácií, z ktorých niektoré boli napísané takmer pred 10 rokmi. Napríklad, ak pre Yandex môžete ľahko vypnúť niekoľko stoviek virtuálnych strojov bez poškodenia koncových používateľov, potom by si takýto prístup v Ruskej pošte vyžadoval vývoj množstva aplikácií od nuly a zmeny v architektúre podnikových informačných systémov. Problémy, ktoré vznikli pri procese migrácie a optimalizácie, sme vyriešili v štádiu spoločného auditu výpočtovej infraštruktúry. Všetky sieťové technológie nové pre podnik (ako napríklad EVPN) prešli predbežným testovaním v laboratóriu.
Výsledky projektu
Projektový tím zahŕňal špecialistov , zákazníka a jeho partnerov pri prevádzkovaní výpočtovej infraštruktúry. Boli vytvorené aj špecializované tímy podpory od dodávateľov (Check Point a Huawei). Projekt trval dva roky. Toto bolo urobené počas tejto doby.
- Stratégia rozvoja siete dátových centier, Corporate Data Network (CDTN) a kruhu medzi dátovými centrami bola vyvinutá a dohodnutá so všetkými oddeleniami zákazníka.
- Dostupnosť služieb sa zvýšila. Podnikanie zákazníka si to všimlo a viedlo to k ešte väčšiemu nárastu návštevnosti v dôsledku zavedenia nových služieb.
- Viac ako 40 000 pravidiel bolo migrovaných a optimalizovaných z FWSM/ASA na USG 9560. Rôzne kontexty ASA na UGG 9560 boli skombinované do jednej bezpečnostnej politiky.
- Priepustnosť portov dátových centier sa zvýšila z 1G na 10/40G vďaka použitiu CE12800/CE6850. To umožnilo eliminovať preťaženie rozhrania a stratu paketov.
- Routre na úrovni operátora NE40E-X8 plne pokryli potreby zákazníckeho dátového centra a centra prenosu dát, berúc do úvahy budúci rozvoj podnikania.
- Pre USG 9560 bolo vyžiadaných osem nových požiadaviek na funkcie. Sedem z nich už bolo implementovaných a sú zahrnuté v aktuálnej verzii VRP. 1 FR – na implementáciu do výskumu a vývoja Huawei. Ide o klaster s ôsmimi šasi s možnosťou konfigurácie potrebnej funkcionality na synchronizáciu konfigurácie bez synchronizácie relácie. Vyžaduje sa, ak je dopravné zdržanie do jedného z dátových centier príliš veľké (Adler – Moskva 1300 km po hlavnej trase a 2800 km po rezervnej trase).
Projekt nemá v porovnaní s inými ruskými poštovými spoločnosťami obdobu.
Modernizácia sieťovej infraštruktúry dátových centier otvorila podniku nové možnosti rozvoja digitálnych služieb.
- Poskytovanie osobného účtu a mobilnej aplikácie pre fyzické a právnické osoby.
- Integrácia s elektronickými obchodmi na poskytovanie služieb doručovania tovaru.
- Plnenie - skladovanie tovaru, tvorba a doručovanie objednávok z elektronických obchodov.
- Rozšírenie miest na vyzdvihnutie objednávky, vrátane používania pridružených sietí.
- Právne významný tok dokumentov s protistranami. Odpadne tak pomalé a nákladné odosielanie papierových dokumentov.
- Prijímanie doporučených listov v elektronickej forme s doručovaním v elektronickej aj papierovej forme (s tlačou zásielok čo najbližšie ku konečnému príjemcovi). Doručovanie elektronických doporučených listov na portáli verejných služieb.
- Platforma na poskytovanie telemedicínskych služieb.
- Zjednodušený príjem a zjednodušené doručovanie doporučenej pošty pomocou jednoduchého elektronického podpisu.
- Digitalizácia siete pôšt.
- Redizajn samoobslužných služieb (terminály a balíkomaty).
- Vytvorenie digitálnej platformy pre správu kuriérskej služby a novej mobilnej aplikácie pre klientov kuriérskej služby.
Poďte s nami pracovať!
Zdroj: hab.com