Jeg er sikker på at alle Habr-lesere minst én gang har bestilt varer fra nettbutikker i utlandet og deretter tatt imot pakker på et russisk postkontor. Kan du forestille deg omfanget av denne oppgaven, med tanke på å organisere logistikk? Multipliser antall kjøpere med antall kjøp, forestill deg et kart over vårt enorme land, og på det er det mer enn 40 tusen postkontorer... Forresten, i 2018 behandlet Russian Post 345 millioner internasjonale pakker.
I denne artikkelen vil vi fortelle deg hvilke problemer Pochta sto overfor og hvordan LANIT Integration-teamet løste dem, og opprettet en ny IT-infrastruktur for datasentre.
Et av de moderne logistikksentrene til Russian Post
Før prosjektet
På grunn av den kraftige økningen i antall pakker fra utenlandske butikker i Kina, Vest-Europa og Nord-Amerika, har belastningen på logistikkfasilitetene til Russian Post økt. Derfor ble det bygget en ny generasjon logistikksentre, som bruker høyytelses sorteringsmaskiner. De krever støtte fra datainfrastrukturen.
Datasenterinfrastrukturen var utdatert og ga ikke nødvendig ytelse og pålitelighet i driften av bedriftsinformasjonssystemer. Russian Post opplevde også mangel på datakraft for å lansere nye tjenester.
Kundedatasentre og deres problemer
Russian Post-datasentre betjener mer enn 40 000 fasiliteter og 85 territorielle avdelinger. Datasentre driver dusinvis av XNUMX/XNUMX forretningstjenester, inkludert e-handelstjenester.
I dag bruker bedrifter systemer for lagring, analyse og behandling av store data. For slike systemer spiller bruken av kunstig intelligens og maskinlæringsalgoritmer en viktig rolle. I dag er en av de viktigste sakene for en bedrift optimalisering av styringen av logistikkstrømmer og akselerert kundeservice på postkontorer.
Før starten av moderniseringsprosjektet var det rundt 3000 virtuelle maskiner i hoved- og backupdatasentrene, volumet av lagret informasjon oversteg 2 petabyte. Datasentre hadde en kompleks trafikkrutingsstruktur knyttet til inndeling i ulike segmenter i henhold til sikkerhetsnivåer.
Med utviklingen av applikasjoner og introduksjonen av nye tjenester har den eksisterende båndbredden til nettverksutstyr i datasentre blitt utilstrekkelig. En overgang til grensesnitt med nye hastigheter var nødvendig: 10 Gbit/s, i stedet for 1 Gbit/s på aksess og 40 Gbit/s på kjernenivå, med full redundans av utstyr og kommunikasjonskanaler.
Informasjonssikkerhetsavdelingen fikk krav om å dele infrastrukturen inn i segmenter med høy informasjonssikkerhet av trafikk og applikasjoner (PN - Private Network og DMZ - Demilitarized Zone). Trafikk gikk gjennom brannmurer (FWUer) som ikke trengte å filtreres. VRF på bryterne ble ikke brukt for denne trafikken. Reglene på brannmuren var suboptimale (ti tusenvis av regler i hvert datasenter).
Sømløs migrering av virtuelle maskiner (VM-er) mellom datasentre samtidig som IP-adressen og den optimale banen for trafikk mellom segmenter, inkludert bedriftens datanettverk (CDN), ble opprettholdt, var umulig.
MSTP ble brukt til sikkerhetskopiering; noen porter ble blokkert (hot standby). Kjerne- og tilgangssvitsjene ble ikke kombinert til en failover-klynge, og grensesnittaggregering (LAG) ble ikke brukt.
Med ankomsten av det tredje datasenteret, var det nødvendig med en ny arkitektur og utstyrskonfigurasjon for å betjene ringen mellom datasentrene (EVPN ble foreslått).
Det var ikke noe enhetlig konsept for utvikling av datasentre, dokumentert i form av et prosjekt og avtalt med alle avdelinger hos kunden. Gjeldende nettverksdriftsdokumentasjon var ufullstendig og utdatert.
Kundens forventninger
Prosjektgruppen hadde følgende oppgaver:
- forberede arkitekturen og utviklingskonseptet for å bygge nettverket og serverinfrastrukturen til det tredje datasenteret;
- gjennomføre en operasjonell revisjon av kundens eksisterende nettverk;
- utvide nettverkets kjernekapasitet med mer enn 1500 10/40 Gbit/s Ethernet-porter i hvert datasenter (totalt 4500 porter);
- sikre driften av en ring mellom tre datasentre med muligheten til å øke hastigheten opp til 80 Gbit/s i hvert segment for å kombinere kundens dataressurser fra forskjellige datasentre til ett enkelt IT-system;
- gi 100 % dobbel reserve av alle nettverkselementer for å oppnå målet Oppetid på nivået 99,995 %;
- minimer trafikkforsinkelser mellom virtuelle maskiner for å øke hastigheten på forretningsapplikasjoner;
- samle inn statistikk, gjøre analyser og utføre påfølgende optimalisering av trafikkfiltreringsregler i datasentre (opprinnelig var det ca. 80 000 regler);
- utvikle en målarkitektur for å sikre sømløs migrering av kundens kritiske forretningsapplikasjoner til et av de tre datasentrene.
Så vi hadde noe å jobbe med.
Оборудование
La oss se nærmere på hvilket utstyr vi brukte i prosjektet.
Brannmur (NGWF) USG9560:
- divisjon etter VSYS;
- opptil 720 Gbps;
- opptil 720 millioner samtidige økter;
- 8 spor.
Ruter NE40E-X8:
- opptil 7,08 Tbit/s byttekapasitet;
- opptil 2,880 XNUMX Mpps videresendingsytelse;
- 8 spor for linjekort (LPU);
- opptil 10 millioner BGP IPv4-ruter per MPU;
- opptil 1500K OSPF IPv4-ruter per MPU;
- opptil 3000K – IPv4 FIB (avhengig av LPU).
Brytere i CE12800-serien:
- Enhetsvirtualisering: VS (1:16 virtualisering), Cluster Switch System (CSS), Super Virtual Fabric (SVF);
- Nettverksvirtualisering: M-LAG, TRILL, VXLAN og VXLAN brobygging, QinQ i VXLAN, EVN (Ethernet Virtual Network);
- fra VRP V2 er EVPN-støtte inkludert;
- M-LAG – analog av vPC (virtuell portkanal) for Cisco Nexus;
- Virtual Spanning Tree Protocol (VSTP) – Kompatibel med Cisco PVST.
CE12804
CE12808
Programvare
I prosjektet brukte vi:
- Konvertering av brannmurkonfigurasjonsfiler fra andre leverandører til kommandoformat for nytt utstyr;
- proprietære skript for optimalisering og konvertering av brannmurkonfigurasjoner.
Utseende til omformeren for konvertering av konfigurasjonsfiler
Ordning for organisering av kommunikasjon mellom datasentre (EVPN VXLAN)
Nyanser ved å sette opp utstyr
CE12808
- EVPN (standard) i stedet for EVN (Huawei proprietær) for kommunikasjon mellom datasentre:
○ L2 over L3 ved å bruke iBGP i kontrollplanet;
○ MAC-trening og deres annonsering via iBGP EVPN-familien (MAC-ruter, type 2);
○ automatisk konstruksjon av VXLAN-tunneler for kringkasting / ukjent unicast-trafikk (inkluderende multicast-ruter, type 3). - To delingsmoduser på VS:
○ basert på porter (port-mode-port) eller basert på ASIC (port-mode group, display device port-map);
○ portdelt dimensjonsgrensesnitt 40GE fungerer BARE i Admin VS (uavhengig av portmodus).
USG9560
- mulighet for deling etter VSYS,
- Dynamisk ruting og rutelekkasje er ikke mulig mellom VSYS!
CE12804
All Active GW (VRRP Master/Master/Master) med MAC VRRP-filtrering mellom datasentre
acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit
interface Eth-Trunk1
traffic-filter acl 4000 outbound
Opplegg for ressursinteraksjon mellom datasentre (VXLAN EVPN og All Active GW)
Prosjektvansker
Hovedproblemet var behovet for å sikkerhetskopiere eksisterende applikasjoner ved hjelp av datainfrastruktur. Kunden hadde mer enn 100 ulike søknader, hvorav noen ble skrevet for snart 10 år siden. For eksempel, hvis du for Yandex enkelt kan slå av flere hundre virtuelle maskiner uten å skade sluttbrukere, vil en slik tilnærming i Russian Post kreve utvikling av en rekke applikasjoner fra bunnen av og endringer i arkitekturen til bedriftsinformasjonssystemer. Vi løste problemene som oppsto under migrerings- og optimaliseringsprosessen ved en felles revisjon av datainfrastrukturen. Alle nettverksteknologier som er nye for bedriften (som EVPN) har gjennomgått foreløpige tester i laboratoriet.
Prosjektresultater
Prosjektgruppen inkluderte spesialister , kunden og dens partnere i driften av datainfrastrukturen. Dedikerte støtteteam fra leverandører (Check Point og Huawei) ble også dannet. Prosjektet tok to år. Dette er hva som ble gjort i løpet av denne tiden.
- En strategi for utvikling av et nettverk av datasentre, et Corporate Data Network (CDTN) og en ring mellom datasentre er utviklet og avtalt med alle avdelinger hos kunden.
- Tilgjengeligheten av tjenester har økt. Dette ble notert av kundens virksomhet og førte til en enda større økning i trafikken på grunn av introduksjonen av nye tjenester.
- Mer enn 40 000 regler har blitt migrert og optimalisert fra FWSM/ASA til USG 9560. Ulike ASA-kontekster på UGG 9560 er kombinert til en enkelt sikkerhetspolicy.
- Gjennomstrømningen av datasenterporter er økt fra 1G til 10/40G ved bruk av CE12800/CE6850. Dette gjorde det mulig å eliminere grensesnittoverbelastning og tap av pakker.
- Carrier-grade rutere NE40E-X8 dekket fullt ut behovene til kundens datasenter og dataoverføringssenter, tatt i betraktning fremtidig forretningsutvikling.
- Åtte nye funksjonsforespørsler er forespurt for USG 9560. Av disse er syv allerede implementert og inkludert i gjeldende versjon av VRP. 1 FR - for implementering i Huawei FoU. Dette er en klynge med åtte chassis med muligheten til å konfigurere den nødvendige funksjonaliteten for konfigurasjonssynkronisering uten øktsynkronisering. Det er nødvendig hvis trafikkforsinkelsen til et av datasentrene er for høy (Adler - Moskva 1300 km langs hovedruten og 2800 km langs reserveruten).
Prosjektet har ingen analoger sammenlignet med andre russiske postselskaper.
Modernisering av nettverksinfrastrukturen til datasentre har åpnet nye muligheter for bedriften til å utvikle digitale tjenester.
- Tilbyr en personlig konto og mobilapplikasjon for enkeltpersoner og juridiske personer.
- Integrasjon med elektroniske butikker for å tilby vareleveringstjenester.
- Oppfyllelse - lagring av varer, dannelse og levering av bestillinger fra elektroniske butikker.
- Utvide bestillingspunkter, inkludert bruk av tilknyttede nettverk.
- Juridisk betydelig dokumentflyt med motparter. Dette vil eliminere langsomme og kostbare sendinger av papirdokumenter.
- Mottak av rekommanderte brev i elektronisk form med utlevering både elektronisk og i papirform (med utskrift av sendinger nærmest mulig sluttmottaker). Forkynnelse av elektroniske registrerte brev på offentlig tjenesteportal.
- Plattform for å tilby telemedisintjenester.
- Forenklet mottak og forenklet levering av rekommandert post ved hjelp av en enkel elektronisk signatur.
- Digitalisering av postkontornettet.
- Redesign av selvbetjeningstjenester (terminaler og pakketerminaler).
- Opprettelse av en digital plattform for å administrere budtjenesten og en ny mobilapplikasjon for budtjenestekunder.
Kom og jobb hos oss!
Kilde: www.habr.com