Jeg er sikker på, at alle Habr-læsere mindst én gang bestilte varer i onlinebutikker i udlandet og derefter gik for at modtage pakker på det russiske postkontor. Kan du forestille dig omfanget af denne opgave med hensyn til organisering af logistik? Multiplicer antallet af købere med antallet af deres køb, forestil dig et kort over vores store land, og på det - mere end 40 tusind postkontorer ... Forresten, i 2018 behandlede Russian Post 345 millioner internationale pakker.
I denne artikel vil vi fortælle dig, hvilke problemer Posten stod over for, og hvordan LANIT-integrationsteamet løste dem ved at skabe en ny it-infrastruktur til datacentre.
Et af de moderne logistikcentre i Russian Post
Før projektet
På grund af en kraftig stigning i antallet af pakker fra udenlandske butikker i Kina, Vesteuropa og Nordamerika er belastningen på den russiske posts logistikfaciliteter steget. Derfor er der bygget en ny generation af logistikcentre, som anvender højkapacitetssorteringsmaskiner. De kræver støtte fra computerinfrastrukturen.
Datacenterinfrastrukturen var forældet og gav ikke den nødvendige ydeevne og pålidelighed i driften af virksomhedens informationssystemer. Også Russian Post oplevede mangel på computerkraft til at lancere nye tjenester.
Kundedatacentre og deres problemer
Russian Post datacentre betjener mere end 40 objekter, 000 territoriale kontorer. Dusinvis af forretningstjenester døgnet rundt opererer i datacentre, herunder e-handelstjenester.
Allerede i dag bruger virksomheden systemer til lagring, analyse og behandling af big data. For sådanne systemer spiller brugen af kunstig intelligens og maskinlæringsalgoritmer en vigtig rolle. Til dato er en af de vigtigste sager for virksomheden optimering af logistikflowstyring og acceleration af kundeservice på postkontorer.
Før starten af opgraderingsprojektet var der omkring 3000 virtuelle maskiner i hoved- og backupdatacentrene, mængden af lagret information oversteg 2 petabyte. Datacentre havde en kompleks trafik routing struktur forbundet med opdelingen i forskellige segmenter i henhold til sikkerhedsniveauer.
Med udviklingen af applikationer og introduktionen af nye tjenester er den eksisterende båndbredde af netværksudstyr i datacentre blevet utilstrækkelig. En overgang til grænseflader med nye hastigheder var påkrævet: 10 Gb/s, i stedet for 1 Gb/s for adgang og 40 Gb/s på kerneniveau, med fuld redundans af udstyr og kommunikationskanaler.
Fra informationssikkerhedsafdelingen blev der modtaget krav om at opdele infrastrukturen i segmenter med høj informationssikkerhed af trafik og applikationer (PN - Private Network og DMZ - Demilitarized Zone). Firewalls (ITU) sendte trafik, der ikke var nødvendigt at filtrere. VRF på switchene blev ikke brugt til sådan trafik. Reglerne på ITU var suboptimale (ti tusindvis af regler i hvert datacenter).
Problemfri migrering af virtuelle maskiner (VM'er) mellem datacentre, samtidig med at IP-adressen og den optimale sti for trafik mellem segmenter, inklusive virksomhedens datanetværk (CDTN), blev bevaret, var ikke mulig.
MSTP blev brugt til redundans, nogle porte blev blokeret (hot standby). Kerne- og adgangsswitcherne var ikke failover-klyngede, og der blev ikke brugt nogen interface-aggregation (LAG).
Med fremkomsten af det tredje datacenter var der behov for en ny arkitektur og udstyrskonfiguration for at betjene ringen mellem datacentre (EVPN blev foreslået).
Der var ikke et enkelt koncept for udvikling af datacentre, dokumenteret i form af et projekt og aftalt med alle afdelinger hos kunden. Den nuværende netværksdriftsdokumentation var ufuldstændig og forældet.
Kundens forventninger
Projektgruppen havde følgende opgaver:
- forberede arkitekturen og udviklingskonceptet til opbygning af netværket og serverinfrastrukturen i det tredje datacenter;
- udføre en operationel revision af kundens eksisterende netværk;
- udvide netværkets kernekapacitet med mere end 1500 10/40 Gb/s Ethernet-porte i hvert datacenter (4500 porte i alt);
- sikre driften af ringen mellem tre datacentre med mulighed for at øge hastigheden op til 80 Gb/s i hvert af segmenterne for at kombinere kundens computerressourcer fra forskellige datacentre til et enkelt IT-system;
- give 100 % dobbelt reserve af alle netværkselementer for at nå målet for oppetid på niveauet 99,995 %;
- minimere trafikforsinkelser mellem virtuelle maskiner for at fremskynde forretningsapplikationer;
- indsamle statistik, analysere og yderligere optimere trafikfiltreringsregler i datacentre (oprindeligt var der omkring 80 regler);
- udvikle en målarkitektur for at sikre problemfri migrering af kundens kritiske forretningsapplikationer til et hvilket som helst af de tre datacentre.
Derfor havde vi noget at arbejde videre med.
Оборудование
Lad os se nærmere på, hvilket udstyr vi brugte i projektet.
Firewall (NGWF) USG9560:
- division efter VSYS;
- op til 720 Gbps;
- op til 720 millioner samtidige sessioner;
- 8 pladser.
Router NE40E-X8:
- op til 7,08 Tbit/s switching kapacitet;
- op til 2,880 Mpps videresendelsesydelse;
- 8 pladser til linjekort (LPU);
- op til 10M BGP IPv4-ruter pr. MPU;
- op til 1500K OSPF IPv4-ruter pr. MPU;
- op til 3000K - IPv4 FIB (afhængig af LPU).
Switche i CE12800-serien:
- Enhedsvirtualisering: VS (1:16 virtualisering), Cluster Switch System (CSS), Super Virtual Fabric (SVF);
- Netværksvirtualisering: M-LAG, TRILL, VXLAN og VXLAN brodannelse, QinQ i VXLAN, EVN (Ethernet Virtual Network);
- startende med VRP V2 er EVPN-understøttelse inkluderet;
- M-LAG - analog af vPC (virtuel portkanal) til Cisco Nexus;
- Virtual Spanning Tree Protocol (VSTP) - Kompatibel med Cisco PVST.
CE12804
CE12808
Software
I projektet brugte vi:
- konvertering af konfigurationsfiler til firewalls fra andre leverandører til kommandoformat til nyt udstyr;
- scripts af vores eget design for at optimere og transformere konfigurationen af firewalls.
Udseende af konverteren til konvertering af konfigurationsfiler
Kommunikationsskema mellem datacentre (EVPN VXLAN)
Nuancerne ved opsætning af udstyr
CE12808
- EVPN (standard) i stedet for EVN (Huawei proprietær) til kommunikation mellem datacentre:
○ L2 over L3 ved hjælp af iBGP i kontrolplan;
○ MAC-træning og annoncering via iBGP EVPN-familie (MAC-ruter, type 2);
○ automatisk konstruktion af VXLAN-tunneler til broadcast/ukendt unicast-trafik (inklusive multicast-ruter, type 3). - To divisionstilstande på VS:
○ baseret på porte (port-mode port) eller baseret på ASIC (port-mode group, display device port-map);
○ port split dimension interface 40GE virker KUN i Admin VS (uanset port-tilstand).
USG9560
- mulighed for at dividere med VSYS,
- mellem VSYS dynamisk routing og rutelækage er umuligt!
CE12804
Alle aktive GW (VRRP Master/Master/Master) med MAC VRRP-filtrering mellem datacentre
acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit
interface Eth-Trunk1
traffic-filter acl 4000 outbound
Skema for interaktion af ressourcer mellem datacentre (VXLAN EVPN og All Active GW)
Projektets kompleksitet
Den største vanskelighed var behovet for at sikkerhedskopiere eksisterende applikationer ved hjælp af computerinfrastruktur. Kunden havde mere end 100 forskellige ansøgninger, hvoraf nogle blev skrevet for næsten 10 år siden. For eksempel, hvis Yandex nemt kan lukke flere hundrede virtuelle maskiner ned uden at skade slutbrugere, så ville en sådan tilgang i Russian Post kræve udvikling af en række applikationer fra bunden og ændringer i arkitekturen af virksomhedsinformationssystemer. Vi løste de problemer, der opstod i processen med migrering og optimering på stadiet af en fælles revision af computerinfrastrukturen. Alle netværksteknologier, der er nye for virksomheden (såsom EVPN) er blevet testet på forhånd i laboratoriet.
Projektresultater
Projektgruppen omfattede specialister , kunden og dennes partnere i driften af computerinfrastrukturen. Dedikerede supportteams fra leverandører (Check Point og Huawei) blev også dannet. Projektet tog to år. Her er hvad der er blevet gjort i denne tid.
- En strategi for udvikling af et netværk af datacentre, et virksomhedsdatatransmissionsnetværk (CSTN) og en ring mellem datacentre blev udviklet og aftalt med alle afdelinger hos kunden.
- Øget servicetilgængelighed. Dette blev bemærket af kundens forretning og førte til en endnu større stigning i trafikken på grund af introduktionen af nye tjenester.
- Mere end 40 regler er blevet migreret og optimeret fra FWSM/ASA til USG 000. Forskellige ASA-kontekster på UGG 9560 er blevet slået sammen til en enkelt sikkerhedspolitik.
- Gennemløbet af datacenterporte er blevet øget fra 1G til 10/40G ved brug af CE12800/CE6850. Dette gjorde det muligt at eliminere grænsefladeoverbelastninger og tab af pakker.
- Carrier-klasse routere NE40E-X8 dækkede fuldt ud behovene i kundens datacenter og KSPD under hensyntagen til fremtidig forretningsudvikling.
- Otte nye funktionsanmodninger er blevet anmodet om USG 9560. Af disse er syv allerede implementeret og inkluderet i den nuværende version af VRP. 1 FR implementeres af Huawei R&D. Dette er en klynge til otte chassis med mulighed for at konfigurere den nødvendige funktionalitet til synkronisering af konfigurationen uden at synkronisere sessioner. Påkrævet, hvis trafikforsinkelsen til et af datacentrene er for høj (Adler - Moskva 1300 km langs hovedruten og 2800 km langs backupruten).
Projektet har ingen analoger i sammenligning med andre postvirksomheder i Rusland.
Moderniseringen af datacentrets netværksinfrastruktur har åbnet nye muligheder for virksomheden for at udvikle digitale tjenester.
- Tilvejebringelse af en personlig konto og en mobilapplikation til enkeltpersoner og juridiske enheder.
- Integration med elektroniske butikker til levering af varer.
- Opfyldelse er opbevaring af varer, dannelse og levering af ordrer fra elektroniske butikker.
- Udvidelse af bestillingspunkter, herunder med brug af partnernetværk.
- Juridisk væsentlig dokumentstrøm med entreprenører. Dette vil eliminere den langsomme og dyre levering af papirdokumenter.
- Modtagelse af anbefalede breve i elektronisk form med levering både i elektronisk og papirform (med udskrivning af forsendelser så tæt som muligt på den endelige modtager). Forkyndelse af elektroniske anbefalede breve på portalen for offentlige tjenester.
- Platform til levering af telemedicinske tjenester.
- Forenklet accept og forenklet levering af rekommanderede forsendelser ved hjælp af en simpel elektronisk signatur.
- Digitalisering af posthusnettet.
- Behandling af selvbetjeningsydelser (terminaler og pakkeautomater).
- Oprettelse af en digital platform til styring af kurerservicen og en ny mobilapplikation til kurerservicekunder.
Kom på arbejde hos os!
Kilde: www.habr.com