Jag är säker på att alla Habr-läsare minst en gång har beställt varor från nätbutiker utomlands och sedan gått för att hämta paket på ett ryskt postkontor. Kan du föreställa dig omfattningen av denna uppgift, ur logistikens synvinkel? Multiplicera antalet köpare med antalet deras köp, föreställ dig en karta över vårt vidsträckta land, och på den - mer än 40 tusen postkontor ... Förresten, år 2018 hanterade Russian Post 345 miljoner internationella paket.
I den här artikeln berättar vi vilka problem Posten stod inför och hur LANIT-Integration-teamet löste dem genom att skapa en ny IT-infrastruktur för databehandlingscentraler.
Ett av Russian Posts moderna logistikcenter
Före projektet
På grund av den kraftiga ökningen av antalet paket från utländska butiker i Kina, Västeuropa och Nordamerika har belastningen på Russian Posts logistikanläggningar ökat. Därför byggdes en ny generation logistikcenter, som använder högpresterande sorteringsmaskiner. De kräver stöd från datorinfrastrukturen.
Datacentrets infrastruktur var föråldrad och gav inte den prestanda och tillförlitlighet som krävs för driften av företagets informationssystem. Russian Post upplevde också brist på datorkraft för att lansera nya tjänster.
Kundernas datacenter och deras problem
Russian Posts datacenter betjänar mer än 40 000 objekt och 85 territoriella förvaltningar. Dussintals företagstjänster är verksamma i datacentren dygnet runt, inklusive e-handelstjänster.
Redan idag använder företaget system för att lagra, analysera och bearbeta stordata. För sådana system spelar användningen av artificiell intelligens och maskininlärningsalgoritmer en viktig roll. Idag är några av de viktigaste fallen för företaget att optimera hanteringen av logistikflöden och accelerera kundservicen på postkontor.
Före moderniseringsprojektet fanns det cirka 3000 2 virtuella maskiner i primär- och backupdatacentren, volymen lagrad information översteg XNUMX petabyte. Datacentren hade en komplex trafikrutningsstruktur kopplad till uppdelning i olika segment enligt säkerhetsnivåer.
Med utvecklingen av applikationer och introduktionen av nya tjänster blev den befintliga bandbredden för nätverksutrustning i datacenter otillräcklig. En övergång till gränssnitt med nya hastigheter krävdes: 10 Gbit/s, istället för 1 Gbit/s på accessnivå och 40 Gbit/s på kärnnivå, med full redundans av utrustning och kommunikationskanaler.
Informationssäkerhetsavdelningen krävde att infrastrukturen skulle delas upp i segment med hög informationssäkerhetsnivå för trafik och applikationer (PN – Private Network och DMZ – Demilitarized Zone). Trafik som inte behövde filtreras passerade genom brandväggar (FW). VRF på switchar användes inte för sådan trafik. Reglerna för FW var inte optimala (tiotusentals regler i varje datacenter).
Sömlös migrering av virtuella maskiner (VM) mellan datacenter samtidigt som IP-adressen och optimal trafikväg mellan segmenten, inklusive företagets dataöverföringsnätverk (CDTN), bibehölls, var inte möjlig.
MSTP användes för redundans, vissa portar blockerades (hot standby). Kärn- och åtkomstswitchar kombinerades inte till ett feltolerant kluster, gränssnittsaggregering (LAG) användes inte.
Med tillkomsten av det tredje datacentret krävdes en ny arkitektur och utrustningsuppsättning för att driva ringen mellan datacentren (EVPN föreslogs).
Det fanns inget enhetligt koncept för utveckling av datacenter, dokumenterat som ett projekt och överenskommet med alla kundens avdelningar. Den nuvarande dokumentationen om nätverksdrift var ofullständig och föråldrad.
Kundernas förväntningar
Projektgruppen stod inför följande uppgifter:
- förbereda arkitekturen och utvecklingskonceptet för att bygga nätverks- och serverinfrastrukturen för det tredje datacentret;
- genomföra en driftsrevision av kundens befintliga nätverk;
- utöka nätverkets kärnkapacitet med mer än 1500 10 40/4500 Gbps Ethernet-portar i varje datacenter (totalt XNUMX XNUMX portar);
- säkerställa driften av en ring mellan tre datacenter med möjlighet att öka hastigheten till 80 Gbit/s i varje segment för att kombinera kundens datorresurser från olika datacenter till ett enda IT-system;
- säkerställa 100 % dubbel redundans för alla nätverkselement för att uppnå målet för drifttid på 99,995 %;
- minimera trafikfördröjningar mellan virtuella maskiner för att snabba upp affärsapplikationer;
- samla in statistik, genomföra en analys och genomföra efterföljande optimering av trafikfiltreringsregler i datacenter (initialt fanns det cirka 80 000 regler);
- utveckla en målarkitektur för att säkerställa sömlös migrering av kundens kritiska affärsapplikationer till något av de tre datacentren.
Så vi hade något att jobba med.
Оборудование
Låt oss titta närmare på den utrustning vi använde i projektet.
USG9560 Nätverksgateway-brandvägg (NGWF):
- division med VSYS;
- upp till 720 Gbps;
- upp till 720 miljoner samtidiga sessioner;
- 8 platser.
Routern NE40E-X8:
- upp till 7,08 Tbit/s switchkapacitet;
- upp till 2,880 XNUMX Mpps vidarebefordringsprestanda;
- 8 platser för linjekort (LPU);
- upp till 10 miljoner BGP IPv4-rutter per MPU;
- upp till 1500 4 OSPF IPvXNUMX-rutter per MPU;
- upp till 3000K – IPv4 FIB (beroende på LPU).
CE12800-seriens switchar:
- Enhetsvirtualisering: VS (1:16 virtualisering), Cluster Switch System (CSS), Super Virtual Fabric (SVF);
- Nätverksvirtualisering: M-LAG, TRILL, VXLAN och VXLAN-bryggning, QinQ i VXLAN, EVN (Ethernet Virtual Network);
- från och med VRP V2 ingår EVPN-stöd;
- M-LAG är en analog till vPC (virtuell portkanal) i Cisco Nexus;
- Virtual Spanning Tree Protocol (VSTP) – kompatibel med Cisco PVST.
CE12804
CE12808
Mjukvara
I projektet använde vi:
- konverterare av konfigurationsfiler från brandväggar från andra leverantörer till kommandoformat för ny utrustning;
- egenutvecklade skript för att optimera och transformera brandväggskonfigurationer.
Utseendet på konverteraren för att konvertera konfigurationsfiler
Schema för kommunikationsorganisation mellan datacenter (EVPN VXLAN)
Nyanser av utrustningsinstallation
CE12808
- EVPN (standard) istället för EVN (Huawei proprietärt) för kommunikation mellan datacenter:
○ L2 över L3 med hjälp av iBGP i kontrollplanet;
○ MAC-inlärning och deras tillkännagivande via iBGP EVPN-familjen (MAC-rutter, typ 2);
○ automatisk konstruktion av VXLAN-tunnlar för broadcast-/okänd unicast-trafik (Inclusive Multicast Routes, typ 3). - Två divisionssätt på VS:
○ portbaserad (portlägesport) eller ASIC-baserad (portlägegrupp, displayenhetsportkarta);
○ port split dimension-gränssnitt 40GE fungerar ENDAST i Admin VS (oavsett portläge).
USG9560
- möjlighet att dividera med VSYS,
- Dynamisk routing och routeläckage är inte möjligt mellan VSYS!
CE12804
Alla aktiva GW (VRRP Master/Master/Master) med MAC VRRP-filtrering mellan datacenter
acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit
interface Eth-Trunk1
traffic-filter acl 4000 outbound
Schema för interaktion mellan resurser mellan datacenter (VXLAN EVPN och All Active GW)
Projektutmaningar
Den största svårigheten var behovet av att säkerhetskopiera befintliga applikationer med hjälp av datorinfrastruktur. Kunden hade över 100 olika applikationer, varav några skrevs för nästan 10 år sedan. Om det till exempel är enkelt att stänga av flera hundra virtuella maskiner för Yandex utan att slutanvändarna skadas, skulle en sådan metod för Russian Post kräva att man utvecklar ett antal applikationer från grunden och ändrar arkitekturen i företagets informationssystem. Vi löste problemen som uppstod under migrerings- och optimeringsprocessen i samband med en gemensam granskning av datorinfrastrukturen. Alla nätverkstekniker som var nya för företaget (som EVPN) förtestades i laboratoriet.
Projektresultat
Projektgruppen bestod av specialister , kunden och dess partners i driften av datorinfrastrukturen. Dedikerade supportteam från leverantörer (Check Point och Huawei) bildades också. Projektet tog två år. Här är vad som gjordes under denna tid.
- En strategi för att utveckla ett nätverk av datacenter, ett företagsdataöverföringsnätverk (CDTN) och en ring mellan datacenter utvecklades och överenskoms med alla kundens avdelningar.
- Tillgängligheten av tjänster har ökat. Detta noterades av kundens verksamhet och ledde till ännu större trafiktillväxt tack vare införandet av nya tjänster.
- Migrerade och optimerade över 40 000 regler från FWSM/ASA till USG 9560. Olika ASA-kontexter på UGG 9560 kombineras till en enda säkerhetspolicy.
- Datacentrets portars dataflöde har ökats från 1G till 10/40G genom att använda CE12800/CE6850. Detta har eliminerat överbelastning av gränssnitt och förlust av socklar.
- NE40E-X8-routrarna i carrier-klass täckte helt kundens datacenter- och datacenterbehov, med hänsyn till framtida affärsutveckling.
- Åtta nya funktionsförfrågningar har begärts för USG 9560. Sju av dem har redan implementerats och inkluderats i den nuvarande versionen av VRP. 1 FR — under implementering inom Huaweis forskning och utveckling. Detta är ett kluster med åtta chassin med möjlighet att konfigurera nödvändig funktionalitet för konfigurationssynkronisering utan sessionssynkronisering. Krävs om trafikfördröjningen till ett av datacentren är för hög (Adler - Moskva 1300 km längs huvudvägen och 2800 km längs reservvägen).
Projektet har inga motsvarigheter jämfört med andra ryska postföretag.
Moderniseringen av datacenternas nätverksinfrastruktur öppnade nya möjligheter för företag att utveckla digitala tjänster.
- Tillhandahålla ett personligt konto och en mobilapplikation för individer och juridiska personer.
- Integration med onlinebutiker för att tillhandahålla leveranstjänster.
- Leverans är lagring av varor, formning och leverans av beställningar från onlinebutiker.
- Utökning av upphämtningsställen för order, bland annat genom användning av partnernätverk.
- Rättsligt betydelsefullt dokumentflöde med motparter. Detta kommer att eliminera den långsamma och kostsamma överföringen av pappersdokument.
- Mottagande av rekommenderade brev i elektronisk form med leverans både elektroniskt och i pappersform (med försändelsens frimärke så nära slutmottagaren som möjligt). Elektronisk rekommenderad brevtjänst på den offentliga portalen.
- Plattform för att tillhandahålla telemedicinska tjänster.
- Förenklad mottagning och förenklad leverans av rekommenderade försändelser med hjälp av en enkel elektronisk signatur.
- Digitalisering av postkontorsnätet.
- Omdesign av självbetjäningsterminaler och paketterminaler.
- Skapande av en digital plattform för att hantera en budtjänst och en ny mobilapplikation för budtjänstkunder.
Kom och jobba hos oss!
Källa: will.com
