Jag är säker på att alla Habr-läsare åtminstone en gång har beställt varor från nätbutiker utomlands och sedan tagit emot paket på ett ryskt postkontor. Kan du föreställa dig omfattningen av denna uppgift, ur synvinkeln att organisera logistiken? Multiplicera antalet köpare med antalet inköp, föreställ dig en karta över vårt stora land, och på den finns det mer än 40 tusen postkontor... Förresten, 2018 behandlade Russian Post 345 miljoner internationella paket.
I den här artikeln kommer vi att berätta vilka problem Posten stod inför och hur LANIT-integrationsteamet löste dem och skapade en ny IT-infrastruktur för datacenter.
En av de moderna logistikcentra för Russian Post
Innan projektet
På grund av en kraftig ökning av antalet paket från utländska butiker i Kina, Västeuropa och Nordamerika har belastningen på ryska postens logistikanläggningar ökat. Därför har en ny generation logistikcenter byggts, som använder sig av högkapacitetssorteringsmaskiner. De kräver stöd från datorinfrastrukturen.
Datacenterinfrastrukturen var föråldrad och gav inte den nödvändiga prestanda och tillförlitlighet i driften av företagsinformationssystem. Russian Post upplevde också en brist på datorkraft för att lansera nya tjänster.
Kunddatacenter och deras problem
Russian Posts datacenter betjänar mer än 40 000 objekt, 85 territoriella kontor. Dussintals företagstjänster dygnet runt verkar i datacenter, inklusive e-handelstjänster.
Redan idag använder företaget system för att lagra, analysera och bearbeta big data. För sådana system spelar användningen av artificiell intelligens och maskininlärningsalgoritmer en viktig roll. Hittills är ett av de viktigaste fallen för företaget optimering av logistikflödeshantering och acceleration av kundservice på postkontor.
Före starten av moderniseringsprojektet fanns det cirka 3000 2 virtuella maskiner i huvud- och backupdatacentren, volymen lagrad information översteg XNUMX petabyte. Datacenter hade en komplex trafikdirigeringsstruktur förknippad med uppdelning i olika segment enligt säkerhetsnivåer.
Med utvecklingen av applikationer och introduktionen av nya tjänster har den befintliga bandbredden för nätverksutrustning i datacenter blivit otillräcklig. En övergång till gränssnitt med nya hastigheter krävdes: 10 Gbit/s, istället för 1 Gbit/s på access och 40 Gbit/s på kärnnivå, med full redundans av utrustning och kommunikationskanaler.
Informationssäkerhetsavdelningen fick krav på att dela upp infrastrukturen i segment med hög informationssäkerhet av trafik och applikationer (PN - Private Network och DMZ - Demilitarized Zone). Trafik passerade genom brandväggar (FWU) som inte behövde filtreras. VRF på växlarna användes inte för denna trafik. Reglerna för brandväggen var suboptimala (tiotusentals regler i varje datacenter).
Sömlös migrering av virtuella maskiner (VM) mellan datacenter med bibehållande av IP-adressen och den optimala vägen för trafik mellan segment, inklusive företagsdatanätverket (CDTN), var inte möjlig.
MSTP användes för redundans, vissa portar blockerades (hot standby). Kärn- och åtkomstswitcharna var inte failover-klustrade och ingen gränssnittsaggregation (LAG) användes.
Med tillkomsten av det tredje datacentret krävdes en ny arkitektur och utrustningskonfiguration för att driva ringen mellan datacenter (EVPN föreslogs).
Det fanns inget enhetligt koncept för utveckling av datacenter, dokumenterat i form av ett projekt och avtalat med alla avdelningar hos kunden. Aktuell nätverksdriftsdokumentation var ofullständig och inaktuell.
Kundernas förväntningar
Projektgruppen hade följande uppgifter:
- förbereda arkitekturen och utvecklingskonceptet för att bygga nätverket och serverinfrastrukturen för det tredje datacentret;
- genomföra en operativ revision av kundens befintliga nätverk;
- utöka nätverkets kärnkapacitet med mer än 1500 10 40/4500 Gb/s Ethernet-portar i varje datacenter (totalt XNUMX XNUMX portar);
- säkerställa driften av en ring mellan tre datacenter med möjlighet att öka hastigheten upp till 80 Gb/s i vart och ett av segmenten för att kombinera kundens datorresurser från olika datacenter till ett enda IT-system;
- tillhandahålla 100 % dubbel reserv av alla nätverkselement för att uppnå målupptid på nivån 99,995 %;
- minimera trafikförseningar mellan virtuella maskiner för att påskynda affärsapplikationer;
- samla in statistik, analysera och ytterligare optimera trafikfiltreringsregler i datacenter (inledningsvis fanns det cirka 80 000 regler);
- utveckla en målarkitektur för att säkerställa sömlös migrering av kundens kritiska affärsapplikationer till något av de tre datacentren.
Så vi hade något att jobba på.
Оборудование
Låt oss titta närmare på vilken utrustning vi använde i projektet.
Brandvägg (NGWF) USG9560:
- division med VSYS;
- upp till 720 Gbps;
- upp till 720 miljoner samtidiga sessioner;
- 8 platser.
Router NE40E-X8:
- upp till 7,08 Tbit/s omkopplingskapacitet;
- upp till 2,880 XNUMX Mpps vidarebefordranprestanda;
- 8 platser för linjekort (LPU);
- upp till 10 miljoner BGP IPv4-rutter per MPU;
- upp till 1500K OSPF IPv4-rutter per MPU;
- upp till 3000K - IPv4 FIB (beror på LPU).
Switchar i CE12800-serien:
- Enhetsvirtualisering: VS (1:16 virtualisering), Cluster Switch System (CSS), Super Virtual Fabric (SVF);
- Nätverksvirtualisering: M-LAG, TRILL, VXLAN och VXLAN bryggning, QinQ i VXLAN, EVN (Ethernet Virtual Network);
- från VRP V2 ingår EVPN-stöd;
- M-LAG – analog till vPC (virtuell portkanal) för Cisco Nexus;
- Virtual Spanning Tree Protocol (VSTP) – Kompatibel med Cisco PVST.
CE12804
CE12808
Mjukvara
I projektet använde vi:
- Konvertering av brandväggskonfigurationsfiler från andra leverantörer till kommandoformat för ny utrustning;
- proprietära skript för att optimera och konvertera brandväggskonfigurationer.
Utseende på omvandlaren för att konvertera konfigurationsfiler
Schema för att organisera kommunikation mellan datacenter (EVPN VXLAN)
Nyanserna i att ställa in utrustning
CE12808
- EVPN (standard) istället för EVN (Huawei proprietary) för kommunikation mellan datacenter:
○ L2 över L3 med iBGP i kontrollplanet;
○ MAC-utbildning och deras reklam via iBGP EVPN-familjen (MAC-rutter, typ 2);
○ automatisk konstruktion av VXLAN-tunnlar för broadcast/okänd unicast-trafik (inklusive multicastrutter, typ 3). - Två divisionslägen på VS:
○ baserat på portar (port-mode port) eller baserat på ASIC (port-mode group, display device port-map);
○ gränssnitt för portdelad dimension 40GE fungerar ENDAST i Admin VS (oavsett port-läge).
USG9560
- möjlighet till delning av VSYS,
- Dynamisk routing och ruttläckage är inte möjliga mellan VSYS!
CE12804
Alla Active GW (VRRP Master/Master/Master) med MAC VRRP-filtrering mellan datacenter
acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit
interface Eth-Trunk1
traffic-filter acl 4000 outbound
Schema för interaktion av resurser mellan datacenter (VXLAN EVPN och All Active GW)
Projektets komplexitet
Den största svårigheten var behovet av att säkerhetskopiera befintliga applikationer med hjälp av datorinfrastruktur. Kunden hade mer än 100 olika ansökningar, varav några skrevs för snart 10 år sedan. Till exempel, om Yandex enkelt kan stänga av flera hundra virtuella maskiner utan att skada slutanvändare, skulle ett sådant tillvägagångssätt i Russian Post kräva utveckling av ett antal applikationer från grunden och förändringar i arkitekturen för företagsinformationssystem. Vi löste problemen som uppstod i processen med migrering och optimering vid en gemensam revision av datorinfrastrukturen. All nätverksteknik som är ny för företaget (som EVPN) har förtestats i laboratoriet.
Projektresultat
I projektgruppen ingick specialister , kunden och dess partners i driften av datorinfrastrukturen. Dedikerade supportteam från leverantörer (Check Point och Huawei) bildades också. Projektet tog två år. Detta är vad som gjordes under den här tiden.
- En strategi för utveckling av ett nätverk av datacenter, ett Corporate Data Network (CDTN) och en ring mellan datacenter har utvecklats och kommit överens med alla avdelningar hos kunden.
- Tillgängligheten på tjänster har ökat. Detta uppmärksammades av kundens affär och ledde till en ännu större trafikökning på grund av introduktionen av nya tjänster.
- Mer än 40 000 regler har migrerats och optimerats från FWSM/ASA till USG 9560. Olika ASA-kontexter på UGG 9560 har slagits samman till en enda säkerhetspolicy.
- Genomströmningen av datacenterportar har ökats från 1G till 10/40G genom användningen av CE12800/CE6850. Detta gjorde det möjligt att eliminera gränssnittsöverbelastningar och förlust av paket.
- Carrier-klass routrar NE40E-X8 täckte helt behoven hos kundens datacenter och KSPD, med hänsyn till framtida affärsutveckling.
- Åtta nya funktionsbegäranden har begärts för USG 9560. Av dessa har sju redan implementerats och ingår i den aktuella versionen av VRP. 1 FR implementeras av Huawei R&D. Detta är ett kluster för åtta chassin med möjlighet att konfigurera den nödvändiga funktionaliteten för att synkronisera konfigurationen utan att synkronisera sessioner. Krävs om trafikförseningen till ett av datacentren är för hög (Adler - Moskva 1300 km längs huvudvägen och 2800 km längs reservvägen).
Projektet har inga analoger i jämförelse med andra postföretag i Ryssland.
Moderniseringen av datacenternätverksinfrastrukturen har öppnat nya möjligheter för företaget att utveckla digitala tjänster.
- Tillhandahålla ett personligt konto och en mobilapplikation för individer och juridiska personer.
- Integration med elektroniska butiker för att tillhandahålla varuleveranstjänster.
- Uppfyllelse - lagring av varor, bildande och leverans av beställningar från elektroniska butiker.
- Utöka beställningsupphämtningsställen, inklusive användning av affiliate-nätverk.
- Juridiskt betydande dokumentflöde med motparter. Detta kommer att eliminera den långsamma och kostsamma sändningen av pappersdokument.
- Mottagande av rekommenderade brev i elektronisk form med leverans både elektroniskt och i pappersform (med utskrift av försändelser så nära slutmottagaren som möjligt). Delgivning av elektroniska rekommenderade brev på portalen för offentliga tjänster.
- Plattform för tillhandahållande av telemedicintjänster.
- Förenklad mottagning och förenklad leverans av rekommenderat brev med en enkel elektronisk signatur.
- Digitalisering av postnätet.
- Behandling av självbetjäningstjänster (terminaler och paketautomater).
- Skapande av en digital plattform för hantering av budtjänsten och en ny mobilapplikation för budtjänstkunder.
Kom och jobba hos oss!
Källa: will.com