Jsem si jist, že všichni čtenáři Habra si alespoň jednou objednali zboží z internetových obchodů v zahraničí a pak si šli vyzvednout balíky na ruskou poštu. Dokážete si představit rozsah tohoto úkolu z hlediska organizace logistiky? Vynásobte počet kupujících počtem jejich nákupů, představte si mapu naší rozlehlé země a na ní je více než 40 tisíc pošt... Mimochodem, v roce 2018 Ruská pošta zpracovala 345 milionů mezinárodních balíků.
V tomto článku vám prozradíme, jakým problémům Pochta čelil a jak je vyřešil tým LANIT Integration, který vytvořil novou IT infrastrukturu pro datová centra.
Jedno z moderních logistických center Ruské pošty
Před projektem
V důsledku prudkého nárůstu počtu balíků ze zahraničních obchodů v Číně, západní Evropě a Severní Americe se zvýšilo zatížení logistických zařízení Ruské pošty. Proto byla vybudována logistická centra nové generace, která využívají vysoce výkonné třídící stroje. Vyžadují podporu od počítačové infrastruktury.
Infrastruktura datového centra byla zastaralá a neposkytovala potřebný výkon a spolehlivost při provozu podnikových informačních systémů. Ruská pošta také zaznamenala nedostatek výpočetního výkonu pro spuštění nových služeb.
Zákaznická datová centra a jejich problémy
Datová centra Ruské pošty obsluhují více než 40 000 zařízení a 85 územních oddělení. Datová centra provozují desítky XNUMX/XNUMX business služeb, včetně služeb elektronického obchodování.
Dnes podniky používají systémy pro ukládání, analýzu a zpracování velkých dat. U takových systémů hraje důležitou roli využití umělé inteligence a algoritmů strojového učení. Dnes je jedním z nejdůležitějších případů pro podnik optimalizace řízení logistických toků a zrychlení služeb zákazníkům na poštách.
Před zahájením projektu modernizace bylo v hlavních i záložních datových centrech cca 3000 virtuálních strojů, objem uložených informací přesáhl 2 petabajty. Datová centra měla složitou strukturu směrování provozu spojenou s rozdělením do různých segmentů podle úrovní zabezpečení.
S rozvojem aplikací a zaváděním nových služeb se stávající šířka pásma síťových zařízení v datových centrech stala nedostatečnou. Byl požadován přechod na rozhraní s novými rychlostmi: 10 Gbit/s místo 1 Gbit/s na přístupu a 40 Gbit/s na úrovni jádra, s plnou redundancí vybavení a komunikačních kanálů.
Oddělení informační bezpečnosti obdrželo požadavek na rozdělení infrastruktury do segmentů s vysokou úrovní informační bezpečnosti provozu a aplikací (PN - Private Network a DMZ - Demilitarized Zone). Provoz procházel přes firewally (FWU), které nebylo nutné filtrovat. VRF na přepínačích nebylo pro tento provoz použito. Pravidla na firewallu nebyla optimální (desítky tisíc pravidel v každém datovém centru).
Bezproblémová migrace virtuálních strojů (VM) mezi datovými centry při zachování IP adresy a optimální cesty pro provoz mezi segmenty, včetně podnikové datové sítě (CDN), byla nemožná.
Pro zálohování bylo použito MSTP, některé porty byly blokovány (hot standby). Jádro a přístupové přepínače nebyly zkombinovány do clusteru s podporou převzetí služeb při selhání a nebyla použita agregace rozhraní (LAG).
S příchodem třetího datového centra byla vyžadována nová architektura a konfigurace zařízení pro provoz prstence mezi datovými centry (bylo navrženo EVPN).
Neexistovala jednotná koncepce rozvoje datových center, zdokumentovaná ve formě projektu a odsouhlasená se všemi odděleními zákazníka. Současná provozní dokumentace sítě byla neúplná a zastaralá.
Očekávání zákazníků
Projektový tým stál před těmito úkoly:
- připravit architekturu a koncepci rozvoje pro vybudování síťové a serverové infrastruktury třetího datového centra;
- provést provozní audit stávající sítě zákazníka;
- rozšířit kapacitu jádra sítě o více než 1500 10 ethernetových portů 40/4500 Gbit/s v každém datovém centru (celkem XNUMX XNUMX portů);
- zajistit provoz kruhu mezi třemi datovými centry s možností zvýšení rychlosti až na 80 Gbit/s v každém segmentu za účelem spojení výpočetních zdrojů zákazníka z různých datových center do jednoho IT systému;
- poskytnout 100% dvojnásobnou rezervu všech síťových prvků pro dosažení cílové Uptime na úrovni 99,995 %;
- minimalizovat dopravní zpoždění mezi virtuálními stroji pro urychlení podnikových aplikací;
- shromažďovat statistiky, provádět analýzy a provádět následnou optimalizaci pravidel filtrování provozu v datových centrech (původně to bylo asi 80 000 pravidel);
- vyvinout cílovou architekturu, která zajistí bezproblémovou migraci kritických podnikových aplikací zákazníka do kteréhokoli ze tří datových center.
Měli jsme tedy na čem pracovat.
Оборудование
Pojďme se blíže podívat na to, jaké vybavení jsme v projektu použili.
Firewall (NGWF) USG9560:
- rozdělení podle VSYS;
- až 720 Gbps;
- až 720 milionů simultánních relací;
- 8 slotů.
Router NE40E-X8:
- až 7,08 Tbit/s přepínací kapacita;
- až 2,880 XNUMX Mpps výkon při předávání;
- 8 slotů pro linkové karty (LPU);
- až 10 milionů BGP IPv4 tras na MPU;
- až 1500 4 tras OSPF IPvXNUMX na MPU;
- až 3000K – IPv4 FIB (v závislosti na LPU).
Přepínače řady CE12800:
- Virtualizace zařízení: VS (virtualizace 1:16), Cluster Switch System (CSS), Super Virtual Fabric (SVF);
- Virtualizace sítě: M-LAG, TRILL, přemostění VXLAN a VXLAN, QinQ ve VXLAN, EVN (Ethernet Virtual Network);
- počínaje VRP V2 je zahrnuta podpora EVPN;
- M-LAG – analog vPC (virtual Port Channel) pro Cisco Nexus;
- Virtual Spanning Tree Protocol (VSTP) – Kompatibilní s Cisco PVST.
CE12804
CE12808
Software
V projektu jsme použili:
- Konvertor konfiguračních souborů firewallu od jiných dodavatelů do formátu příkazů pro nové zařízení;
- proprietární skripty pro optimalizaci a konverzi konfigurací firewallu.
Vzhled převodníku pro převod konfiguračních souborů
Schéma organizace komunikace mezi datovými centry (EVPN VXLAN)
Nuance nastavení zařízení
CE12808
- EVPN (standardní) místo EVN (proprietární Huawei) pro komunikaci mezi datovými centry:
○ L2 přes L3 pomocí iBGP v rovině Control;
○ Školení MAC a jejich reklama prostřednictvím rodiny iBGP EVPN (trasy MAC, typ 2);
○ automatická výstavba VXLAN tunelů pro broadcast/neznámý unicast provoz (Inclusive Multicast Routes, typ 3). - Dva režimy dělení na VS:
○ na základě portů (port v režimu portu) nebo na základě ASIC (skupina režimu portů, mapa portů zobrazovacího zařízení);
○ rozhraní pro rozdělení portu 40GE funguje POUZE v Admin VS (bez ohledu na režim portu).
9560 USG
- možnost rozdělení podle VSYS,
- Dynamické směrování a únik cesty mezi VSYS není možný!
CE12804
Všechny aktivní GW (VRRP Master/Master/Master) s filtrováním MAC VRRP mezi datovými centry
acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit
interface Eth-Trunk1
traffic-filter acl 4000 outbound
Schéma interakce zdrojů mezi datovými centry (VXLAN EVPN a All Active GW)
Obtíže projektu
Hlavním problémem byla nutnost zálohovat stávající aplikace pomocí výpočetní infrastruktury. Zákazník měl více než 100 různých aplikací, z nichž některé byly napsány téměř před 10 lety. Pokud například pro Yandex můžete snadno vypnout několik stovek virtuálních strojů bez poškození koncových uživatelů, pak by takový přístup v ruské poště vyžadoval vývoj řady aplikací od nuly a změny v architektuře podnikových informačních systémů. Problémy vzniklé při migraci a optimalizaci jsme vyřešili ve fázi společného auditu výpočetní infrastruktury. Všechny síťové technologie nové pro podnik (jako je EVPN) prošly předběžným testováním v laboratoři.
Výsledky projektu
V projektovém týmu byli specialisté , zákazník a jeho partneři při provozování výpočetní infrastruktury. Byly také vytvořeny specializované týmy podpory od dodavatelů (Check Point a Huawei). Projekt trval dva roky. To je to, co se během této doby udělalo.
- Byla vyvinuta strategie rozvoje sítě datových center, Corporate Data Network (CDTN) a ring mezi datovými centry a byla odsouhlasena se všemi odděleními zákazníka.
- Zvýšila se dostupnost služeb. To zaznamenalo podnikání zákazníka a vedlo to k ještě většímu nárůstu návštěvnosti díky zavádění nových služeb.
- Více než 40 000 pravidel bylo migrováno a optimalizováno z FWSM/ASA na USG 9560. Různé kontexty ASA na UGG 9560 byly sloučeny do jediné bezpečnostní politiky.
- Propustnost portů datových center byla zvýšena z 1G na 10/40G díky použití CE12800/CE6850. To umožnilo eliminovat přetížení rozhraní a ztrátu paketů.
- Směrovače NE40E-X8 na úrovni operátora plně pokryly potřeby zákaznického datového centra a centra přenosu dat s ohledem na budoucí rozvoj podnikání.
- Pro USG 9560 bylo vyžádáno osm nových požadavků na funkce. Sedm z nich již bylo implementováno a jsou zahrnuty v aktuální verzi VRP. 1 FR - pro implementaci do výzkumu a vývoje Huawei. Jedná se o cluster s osmi šasi se schopností konfigurovat potřebnou funkcionalitu pro synchronizaci konfigurace bez synchronizace relace. Je vyžadováno, pokud je dopravní zpoždění do jednoho z datových center příliš velké (Adler – Moskva 1300 km po hlavní trase a 2800 km po záložní trase).
Projekt nemá ve srovnání s jinými ruskými poštovními společnostmi obdoby.
Modernizace síťové infrastruktury datových center otevřela podniku nové příležitosti pro rozvoj digitálních služeb.
- Poskytování osobního účtu a mobilní aplikace pro fyzické i právnické osoby.
- Integrace s elektronickými obchody pro poskytování služeb doručování zboží.
- Plnění - uskladnění zboží, tvorba a doručení objednávek z elektronických obchodů.
- Rozšíření míst pro vyzvednutí objednávek, včetně využití přidružených sítí.
- Právně významný tok dokumentů s protistranami. Odpadne tak pomalé a nákladné odesílání papírových dokumentů.
- Příjem doporučených dopisů v elektronické podobě s doručením v elektronické i papírové podobě (s tiskem zásilek co nejblíže konečnému příjemci). Doručování elektronických doporučených dopisů na portálu veřejných služeb.
- Platforma pro poskytování telemedicínských služeb.
- Zjednodušený příjem a zjednodušené doručování doporučené pošty pomocí jednoduchého elektronického podpisu.
- Digitalizace poštovní sítě.
- Redesign samoobslužných služeb (terminály a balíkomaty).
- Vytvoření digitální platformy pro správu kurýrní služby a nové mobilní aplikace pro klienty kurýrní služby.
Pojďte s námi pracovat!
Zdroj: www.habr.com