Esmu pārliecināts, ka visi Habr lasītāji vismaz vienu reizi pasūtīja preces tiešsaistes veikalos ārzemēs un pēc tam devās saņemt sūtījumus Krievijas pasta nodaļā. Vai varat iedomāties šī uzdevuma apjomu loģistikas organizēšanas ziņā? Reiziniet pircēju skaitu ar viņu pirkumu skaitu, iedomājieties mūsu plašās valsts karti un uz tās - vairāk nekā 40 tūkstošus pasta nodaļu... Starp citu, 2018. gadā Krievijas pasts apstrādāja 345 miljonus starptautisko paku.
Šajā rakstā pastāstīsim, ar kādām problēmām Post saskārās un kā tās atrisināja LANIT-Integration komanda, izveidojot jaunu IT infrastruktūru datu centriem.
Viens no mūsdienu Krievijas pasta loģistikas centriem
Pirms projekta
Strauji pieaugot paku skaitam no ārvalstu veikaliem Ķīnā, Rietumeiropā un Ziemeļamerikā, pieaugusi Krievijas pasta loģistikas objektu slodze. Tāpēc ir uzbūvēti jaunas paaudzes loģistikas centri, kuros tiek izmantotas lielas ietilpības šķirošanas iekārtas. Viņiem ir nepieciešams skaitļošanas infrastruktūras atbalsts.
Datu centra infrastruktūra bija novecojusi un nenodrošināja nepieciešamo veiktspēju un uzticamību uzņēmuma informācijas sistēmu darbībā. Arī Krievijas pasts piedzīvoja skaitļošanas jaudas trūkumu jaunu pakalpojumu palaišanai.
Klientu datu centri un to problēmas
Krievijas pasta datu centri apkalpo vairāk nekā 40 000 objektu, 85 teritoriālos birojus. Datu centros darbojas desmitiem diennakts biznesa pakalpojumu, tostarp e-komercijas pakalpojumi.
Jau šobrīd uzņēmums izmanto sistēmas lielo datu glabāšanai, analīzei un apstrādei. Šādām sistēmām svarīga loma ir mākslīgā intelekta un mašīnmācīšanās algoritmu izmantošanai. Līdz šim viens no uzņēmuma svarīgākajiem gadījumiem ir loģistikas plūsmas vadības optimizācija un klientu apkalpošanas paātrināšana pasta nodaļās.
Pirms jaunināšanas projekta uzsākšanas galvenajā un rezerves datu centros atradās ap 3000 virtuālo mašīnu, glabājamās informācijas apjoms pārsniedza 2 petabaitus. Datu centriem bija sarežģīta trafika maršrutēšanas struktūra, kas saistīta ar sadalījumu dažādos segmentos atbilstoši drošības līmeņiem.
Attīstoties aplikācijām un ieviešot jaunus pakalpojumus, esošais tīkla iekārtu joslas platums datu centros ir kļuvis nepietiekams. Bija nepieciešama pāreja uz saskarnēm ar jauniem ātrumiem: 10 Gb / s, nevis 1 Gb / s piekļuvei un 40 Gb / s pamata līmenī, ar pilnīgu aprīkojuma un sakaru kanālu dublēšanu.
No informācijas drošības departamenta tika saņemta prasība infrastruktūru sadalīt segmentos ar augstu satiksmes un lietojumprogrammu informācijas drošības līmeni (PN - Private Network un DMZ - Demilitarized Zone). Ugunsmūri (ITU) izturēja trafiku, kas nebija jāfiltrē. VRF uz slēdžiem netika izmantots šādai satiksmei. ITU noteikumi nebija optimāli (desmitiem tūkstošu noteikumu katrā datu centrā).
Virtuālo mašīnu (VM) nemanāma migrācija starp datu centriem, saglabājot IP adresi un optimālo trafika ceļu starp segmentiem, tostarp korporatīvo datu tīklu (CDTN), nebija iespējama.
MSTP tika izmantots dublēšanai, daži porti tika bloķēti (karstais gaidīšanas režīms). Kodols un piekļuves slēdži nebija grupēti kļūmjpārlēces grupēšanā, un netika izmantota saskarnes apkopošana (LAG).
Līdz ar trešā datu centra parādīšanos bija nepieciešama jauna arhitektūra un aprīkojuma konfigurācija, lai darbinātu gredzenu starp datu centriem (tika piedāvāts EVPN).
Nebija vienotas datu centru attīstības koncepcijas, kas dokumentēta projekta veidā un saskaņota ar visām klienta nodaļām. Pašreizējā tīkla darbības dokumentācija bija nepilnīga un novecojusi.
Klientu cerības
Projekta komandai bija šādi uzdevumi:
- sagatavo trešā datu centra tīkla un serveru infrastruktūras izbūves arhitektūras un attīstības koncepciju;
- veikt klienta esošā tīkla darbības auditu;
- paplašināt tīkla kodola jaudu par vairāk nekā 1500 10/40 Gb/s Ethernet portiem katrā datu centrā (kopā 4500 porti);
- nodrošināt riņķa darbību starp trim datu centriem ar iespēju palielināt ātrumu līdz 80 Gb/s katrā no segmentiem, lai apvienotu klienta skaitļošanas resursus no dažādiem datu centriem vienotā IT sistēmā;
- nodrošināt 100% dubultu visu tīkla elementu rezervi, lai sasniegtu mērķa Uptime 99,995% līmenī;
- samazināt trafika aizkaves starp virtuālajām mašīnām, lai paātrinātu biznesa lietojumprogrammas;
- apkopot statistiku, analizēt un tālāk optimizēt trafika filtrēšanas noteikumus datu centros (sākotnēji bija aptuveni 80 000 noteikumu);
- izstrādāt mērķa arhitektūru, lai nodrošinātu klientam svarīgo biznesa lietojumprogrammu netraucētu migrāciju uz jebkuru no trim datu centriem.
Tādējādi mums bija pie kā strādāt.
Оборудование
Apskatīsim tuvāk, kādu aprīkojumu izmantojām projektā.
Ugunsmūris (NGWF) USG9560:
- sadalīšana ar VSYS;
- līdz 720 Gbps;
- līdz 720 miljoniem vienlaicīgu sesiju;
- 8 sloti.
Maršrutētājs NE40E-X8:
- līdz 7,08 Tbit/s komutācijas jauda;
- līdz 2,880 Mpps pārsūtīšanas veiktspēja;
- 8 sloti līniju kartēm (LPU);
- līdz 10 M BGP IPv4 maršrutiem uz vienu MPU;
- līdz 1500 4 OSPF IPvXNUMX maršrutiem uz vienu MPU;
- līdz 3000K - IPv4 FIB (atkarīgs no LPU).
CE12800 sērijas slēdži:
- Ierīču virtualizācija: VS (1:16 virtualizācija), klasteru komutācijas sistēma (CSS), Super Virtual Fabric (SVF);
- Tīkla virtualizācija: M-LAG, TRILL, VXLAN un VXLAN savienošana, QinQ VXLAN, EVN (Ethernet virtuālais tīkls);
- sākot ar VRP V2, ir iekļauts EVPN atbalsts;
- M-LAG - vPC (virtuālā porta kanāla) analogs Cisco Nexus;
- Virtual Spanning Tree Protocol (VSTP) — savietojams ar Cisco PVST.
CE12804
CE12808
Programmatūra
Projektā izmantojām:
- citu piegādātāju ugunsmūru konfigurācijas failu konvertēšana komandu formātā jaunām iekārtām;
- mūsu pašu izstrādāti skripti, lai optimizētu un pārveidotu ugunsmūru konfigurāciju.
Konfigurācijas failu konvertēšanas pārveidotāja izskats
Sakaru shēma starp datu centriem (EVPN VXLAN)
Iekārtu uzstādīšanas nianses
CE12808
- EVPN (standarta), nevis EVN (Huawei patentēts), saziņai starp datu centriem:
○ L2 virs L3, izmantojot iBGP vadības plaknē;
○ MAC apmācība un paziņošana, izmantojot iBGP EVPN saimi (MAC maršruti, 2. tips);
○ automātiska VXLAN tuneļu konstruēšana apraides/nezināmas unicast trafika satiksmei (iekļaujot multiraides maršruti, 3. tips). - Divi VS dalīšanas režīmi:
○ pamatojoties uz portiem (port-mode port) vai pamatojoties uz ASIC (port-mode group, displeja ierīces porta karte);
○ porta sadalītās dimensijas interfeiss 40GE darbojas TIKAI sistēmā Admin VS (neatkarīgi no porta režīma).
USG9560
- iespēja dalīt ar VSYS,
- starp VSYS dinamisko maršrutēšanu un maršruta noplūdi nav iespējams!
CE12804
Visa Active GW (VRRP Master/Master/Master) ar MAC VRRP filtrēšanu starp datu centriem
acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit
interface Eth-Trunk1
traffic-filter acl 4000 outbound
Resursu mijiedarbības shēma starp datu centriem (VXLAN EVPN un All Active GW)
Projekta sarežģītība
Galvenās grūtības radīja nepieciešamība dublēt esošās lietojumprogrammas, izmantojot skaitļošanas infrastruktūru. Klientam bija vairāk nekā 100 dažādu lietojumprogrammu, no kurām dažas tika uzrakstītas gandrīz pirms 10 gadiem. Piemēram, ja Yandex var viegli izslēgt vairākus simtus virtuālo mašīnu, nekaitējot gala lietotājiem, tad Krievijas pastā šāda pieeja prasītu vairāku lietojumprogrammu izstrādi no nulles un izmaiņas uzņēmuma informācijas sistēmu arhitektūrā. Migrācijas un optimizācijas procesā radušās problēmas atrisinājām kopīgā skaitļošanas infrastruktūras audita posmā. Visas uzņēmumam jaunās tīkla tehnoloģijas (piemēram, EVPN) ir iepriekš pārbaudītas laboratorijā.
Projekta rezultāti
Projekta komandā bija speciālisti , klients un viņa partneri skaitļošanas infrastruktūras darbībā. Tika izveidotas arī īpašas atbalsta komandas no pārdevējiem (Check Point un Huawei). Projekts ilga divus gadus. Lūk, kas šajā laikā ir paveikts.
- Tika izstrādāta datu centru tīkla, korporatīvā datu pārraides tīkla (CSTN) un gredzena starp datu centriem attīstības stratēģija, kas saskaņota ar visām pasūtītāja nodaļām.
- Paaugstināta pakalpojumu pieejamība. To atzīmēja klienta bizness, un tas izraisīja vēl lielāku satiksmes pieaugumu, pateicoties jaunu pakalpojumu ieviešanai.
- Vairāk nekā 40 000 kārtulu ir migrēti un optimizēti no FWSM/ASA uz USG 9560. Dažādi UGG 9560 ASA konteksti ir apvienoti vienā drošības politikā.
- Izmantojot CE1/CE10, datu centra portu caurlaidspēja ir palielināta no 40G līdz 12800/6850G. Tas ļāva novērst saskarnes pārslodzes un pakešu zudumus.
- Carrier klases maršrutētāji NE40E-X8 pilnībā sedza klienta datu centra un KSPD vajadzības, ņemot vērā turpmāko biznesa attīstību.
- Ir pieprasīti astoņi jauni funkciju pieprasījumi USG 9560. No tiem septiņi jau ir ieviesti un ir iekļauti pašreizējā VRP versijā. 1 FR ievieš Huawei R&D. Šis ir astoņu šasiju klasteris ar iespēju konfigurēt nepieciešamo funkcionalitāti konfigurācijas sinhronizēšanai bez sesiju sinhronizācijas. Nepieciešams, ja satiksmes aizkave uz kādu no datu centriem ir pārāk liela (Adlera - Maskava 1300 km pa galveno maršrutu un 2800 km pa rezerves maršrutu).
Projektam nav analogu salīdzinājumā ar citiem pasta uzņēmumiem Krievijā.
Datu centru tīkla infrastruktūras modernizācija uzņēmumam pavērusi jaunas iespējas digitālo pakalpojumu attīstībai.
- Personīgā konta un mobilās aplikācijas nodrošināšana fiziskām un juridiskām personām.
- Integrācija ar elektroniskajiem veikaliem, lai nodrošinātu preču piegādes pakalpojumus.
- Izpilde ir preču uzglabāšana, pasūtījumu noformēšana un piegāde no elektroniskajiem veikaliem.
- Pasūtījumu izdošanas punktu paplašināšana, t.sk., izmantojot partneru tīklus.
- Juridiski nozīmīga dokumentu plūsma ar darbuzņēmējiem. Tas novērsīs lēno un dārgo papīra dokumentu piegādi.
- Ierakstīto vēstuļu pieņemšana elektroniskā formā ar piegādi gan elektroniskā, gan papīra formā (ar sūtījumu izdruku pēc iespējas tuvāk gala saņēmējam). Elektronisko ierakstīto vēstuļu apkalpošana sabiedrisko pakalpojumu portālā.
- Platforma telemedicīnas pakalpojumu sniegšanai.
- Vienkāršota ierakstītu pasta sūtījumu pieņemšana un piegāde, izmantojot vienkāršu elektronisko parakstu.
- Pasta nodaļu tīkla digitalizācija.
- Pašapkalpošanās pakalpojumu apstrāde (termināli un pakomāti).
- Digitālās platformas izveide kurjerdienesta pārvaldīšanai un jauna mobilā aplikācija kurjerdienesta klientiem.
Nāc strādāt pie mums!
Avots: www.habr.com