Prepričan sem, da so vsi bralci Habra vsaj enkrat naročili blago v spletnih trgovinah v tujini in nato odšli po pakete na rusko pošto. Si lahko predstavljate obseg te naloge z vidika organizacije logistike? Pomnožite število kupcev s številom njihovih nakupov, predstavljajte si zemljevid naše ogromne države in na njem - več kot 40 tisoč poštnih uradov ... Mimogrede, leta 2018 je ruska pošta obdelala 345 milijonov mednarodnih paketov.
V tem članku vam bomo povedali, s kakšnimi težavami se je Pošta soočala in kako jih je ekipa LANIT-Integration rešila in ustvarila novo IT infrastrukturo za podatkovne centre.
Eden od sodobnih logističnih centrov ruske pošte
Pred projektom
Zaradi močnega povečanja števila pošiljk iz tujih trgovin na Kitajskem, v Zahodni Evropi in Severni Ameriki se je povečala obremenitev logističnih zmogljivosti ruske pošte. Zato je bila zgrajena nova generacija logističnih centrov, ki uporabljajo visoko zmogljive sortirne stroje. Potrebujejo podporo računalniške infrastrukture.
Infrastruktura podatkovnega centra je bila zastarela in ni zagotavljala potrebne zmogljivosti in zanesljivosti delovanja podjetniških informacijskih sistemov. Ruska pošta je imela tudi pomanjkanje računalniške moči za uvedbo novih storitev.
Podatkovni centri strank in njihove težave
Podatkovni centri Ruske pošte oskrbujejo več kot 40 objektov, 000 teritorialnih uradov. V podatkovnih centrih deluje na desetine 85-urnih poslovnih storitev, vključno s storitvami e-trgovine.
Že danes podjetje uporablja sisteme za shranjevanje, analizo in obdelavo velikih podatkov. Pri takih sistemih igra pomembno vlogo uporaba umetne inteligence in algoritmov strojnega učenja. Do danes je eden najpomembnejših primerov za podjetje optimizacija upravljanja logističnih tokov in pospešitev storitev za stranke na poštah.
Pred začetkom projekta nadgradnje je bilo v glavnem in rezervnem podatkovnem centru približno 3000 virtualnih strojev, količina shranjenih informacij je presegala 2 petabajta. Podatkovni centri so imeli zapleteno strukturo usmerjanja prometa, povezano z delitvijo na različne segmente glede na varnostne stopnje.
Z razvojem aplikacij in uvajanjem novih storitev je obstoječa pasovna širina omrežne opreme v podatkovnih centrih postala nezadostna. Potreben je bil prehod na vmesnike z novimi hitrostmi: 10 Gb / s, namesto 1 Gb / s za dostop in 40 Gb / s na ravni jedra, s popolno redundanco opreme in komunikacijskih kanalov.
S strani oddelka za informacijsko varnost smo prejeli zahtevo po razdelitvi infrastrukture na segmente z visoko stopnjo informacijske varnosti prometa in aplikacij (PN – Private Network in DMZ – Demilitarized Zone). Požarni zidovi (ITU) so prepustili promet, ki ga ni bilo potrebno filtrirati. VRF ni bil uporabljen na stikalih za tak promet. Pravila ITU so bila neoptimalna (na desettisoče pravil v vsakem podatkovnem centru).
Brezhibna migracija virtualnih strojev (VM) med podatkovnimi centri ob ohranjanju naslova IP in optimalne poti za promet med segmenti, vključno s korporativnim podatkovnim omrežjem (CDTN), ni bila mogoča.
MSTP je bil uporabljen za redundanco, nekatera vrata so bila blokirana (hot standby). Jedro in stikala za dostop niso bila združena v gruče za preklop ob napakah in ni bilo uporabljeno združevanje vmesnikov (LAG).
S prihodom tretjega podatkovnega centra je bila potrebna nova arhitektura in konfiguracija opreme za delovanje obroča med podatkovnimi centri (predlagan je bil EVPN).
Ni bilo enotnega koncepta razvoja podatkovnih centrov, dokumentiranega v obliki projekta in dogovorjenega z vsemi oddelki naročnika. Sedanja dokumentacija o delovanju omrežja je bila nepopolna in zastarela.
Pričakovanja strank
Projektna skupina je imela naslednje naloge:
- pripraviti arhitekturo in razvojni koncept za izgradnjo omrežne in strežniške infrastrukture tretjega podatkovnega centra;
- izvesti revizijo delovanja obstoječega omrežja stranke;
- razširitev zmogljivosti jedra omrežja za več kot 1500 10/40 Gb/s ethernetnih vrat v vsakem podatkovnem centru (skupaj 4500 vrat);
- zagotoviti delovanje obroča med tremi podatkovnimi centri z možnostjo povečanja hitrosti do 80 Gb/s v vsakem od segmentov za združevanje naročnikovih računalniških virov iz različnih podatkovnih centrov v en sam IT sistem;
- zagotoviti 100% dvojno rezervo vseh omrežnih elementov za dosego ciljnega Uptime na ravni 99,995%;
- zmanjšajte zamude v prometu med virtualnimi stroji za pospešitev poslovnih aplikacij;
- zbiranje statističnih podatkov, analiziranje in nadaljnja optimizacija pravil filtriranja prometa v podatkovnih centrih (na začetku je bilo okoli 80 pravil);
- razviti ciljno arhitekturo za zagotovitev brezhibne migracije kritičnih poslovnih aplikacij stranke v katerega koli od treh podatkovnih centrov.
Tako smo imeli na čem delati.
Оборудование
Oglejmo si podrobneje, katero opremo smo uporabili pri projektu.
Požarni zid (NGWF) USG9560:
- deljenje z VSYS;
- do 720 Gbps;
- do 720 milijonov hkratnih sej;
- 8 rež.
Usmerjevalnik NE40E-X8:
- do 7,08 Tbit/s preklopna zmogljivost;
- zmogljivost posredovanja do 2,880 Mpps;
- 8 rež za linijske kartice (LPU);
- do 10 milijonov poti BGP IPv4 na MPU;
- do 1500K OSPF IPv4 poti na MPU;
- do 3000K - IPv4 FIB (odvisno od LPU).
Stikala serije CE12800:
- Virtualizacija naprav: VS (virtualizacija 1:16), Cluster Switch System (CSS), Super Virtual Fabric (SVF);
- Virtualizacija omrežja: M-LAG, TRILL, VXLAN in VXLAN premostitev, QinQ v VXLAN, EVN (Ethernet Virtual Network);
- od VRP V2 je vključena podpora za EVPN;
- M-LAG je analog vPC (virtual Port Channel) za Cisco Nexus;
- Protokol navideznega vpetega drevesa (VSTP) – združljiv s Cisco PVST.
CE12804
CE12808
Программное обеспечение
V projektu smo uporabili:
- pretvornik konfiguracijskih datotek za požarne zidove drugih proizvajalcev v ukazni format za novo opremo;
- skripte lastne zasnove za optimizacijo in preoblikovanje konfiguracije požarnih zidov.
Videz pretvornika za pretvorbo konfiguracijskih datotek
Komunikacijska shema med podatkovnimi centri (EVPN VXLAN)
Nianse namestitve opreme
CE12808
- EVPN (standard) namesto EVN (Huawei lastniško) za komunikacijo med podatkovnimi centri:
○ L2 prek L3 z uporabo iBGP v nadzorni ravnini;
○ MAC usposabljanje in najava preko iBGP EVPN družine (MAC poti, tip 2);
○ samodejna izgradnja tunelov VXLAN za oddajanje/neznan unicast promet (vključujoče večoddajne poti, tip 3). - Dva načina delitve na VS:
○ na podlagi vrat (vrata v načinu vrat) ali na podlagi ASIC (skupina v načinu vrat, zemljevid vrat prikazovalne naprave);
○ vmesnik razdeljenih dimenzij 40GE deluje SAMO v Admin VS (ne glede na način vrat).
USG9560
- možnost delitve z VSYS,
- med dinamičnim usmerjanjem VSYS in uhajanjem poti ni mogoče!
CE12804
Vsi aktivni GW (VRRP Master/Master/Master) s filtriranjem MAC VRRP med podatkovnimi centri
acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit
interface Eth-Trunk1
traffic-filter acl 4000 outbound
Shema interakcije virov med podatkovnimi centri (VXLAN EVPN in All Active GW)
Kompleksnost projekta
Glavna težava je bila potreba po varnostnem kopiranju obstoječih aplikacij z uporabo računalniške infrastrukture. Stranka je imela več kot 100 različnih aplikacij, nekatere so bile napisane pred skoraj 10 leti. Na primer, če je za Yandex mogoče enostavno izklopiti več sto virtualnih strojev, ne da bi pri tem škodovali končnim uporabnikom, potem bi v Ruski pošti takšen pristop zahteval razvoj številnih aplikacij iz nič in spremembe v arhitekturi informacijskih sistemov podjetja. Težave, ki so nastale v procesu migracije in optimizacije, smo rešili v fazi skupne revizije računalniške infrastrukture. Vse omrežne tehnologije, ki so nove v podjetju (kot je EVPN), so bile predhodno testirane v laboratoriju.
Rezultati projekta
Projektna skupina je vključevala strokovnjake , naročnika in njegovih partnerjev pri delovanju računalniške infrastrukture. Oblikovane so bile tudi namenske podporne ekipe proizvajalcev (Check Point in Huawei). Projekt je trajal dve leti. Tukaj je, kaj je bilo storjeno v tem času.
- Razvita je bila strategija razvoja omrežja podatkovnih centrov, korporativnega omrežja za prenos podatkov (CSTN) in obroča med podatkovnimi centri, ki je bila usklajena z vsemi oddelki naročnika.
- Povečana razpoložljivost storitev. To je zaznalo poslovanje naročnika in povzročilo še večji porast prometa zaradi uvajanja novih storitev.
- Več kot 40 pravil je bilo preseljenih in optimiziranih iz FWSM/ASA v USG 000. Različni konteksti ASA na UGG 9560 so bili združeni v en sam varnostni pravilnik.
- Prepustnost vrat podatkovnega centra je bila povečana z 1G na 10/40G z uporabo CE12800/CE6850. To je omogočilo odpravo preobremenitev vmesnika in izgube paketov.
- Usmerjevalniki operaterskega razreda NE40E-X8 so v celoti pokrili potrebe strankinega podatkovnega centra in KSPD ob upoštevanju prihodnjega razvoja poslovanja.
- Za USG 9560 je bilo zahtevanih osem novih zahtev za funkcije. Od teh jih je bilo sedem že implementiranih in so vključene v trenutno različico VRP. 1 FR izvaja Huawei R&D. To je gruča za osem ohišij z možnostjo konfiguriranja potrebnih funkcij za sinhronizacijo konfiguracije brez sinhroniziranja sej. Zahtevano, če je prometna zamuda do enega od podatkovnih centrov prevelika (Adler – Moskva 1300 km po glavni poti in 2800 km po rezervni poti).
Projekt nima analogij v primerjavi z drugimi poštnimi podjetji v Rusiji.
Posodobitev omrežne infrastrukture podatkovnega centra je podjetju odprla nove priložnosti za razvoj digitalnih storitev.
- Zagotavljanje osebnega računa in mobilne aplikacije za fizične in pravne osebe.
- Integracija z elektronskimi trgovinami za zagotavljanje storitev dostave blaga.
- Izpolnitev je skladiščenje blaga, oblikovanje in dostava naročil iz elektronskih trgovin.
- Širitev točk izdaje naročil, tudi z uporabo partnerskih mrež.
- Pravno pomemben dokumentarni promet z izvajalci. To bo odpravilo počasno in drago dostavo papirnih dokumentov.
- Sprejem priporočenih pisem v elektronski obliki z dostavo v elektronski in papirni obliki (s tiskom čim bližje končnemu prejemniku). Storitev elektronskih priporočenih pisem na portalu javnih storitev.
- Platforma za zagotavljanje telemedicinskih storitev.
- Poenostavljen prevzem in poenostavljena vročitev priporočenih poštnih pošiljk z enostavnim elektronskim podpisom.
- Digitalizacija poštnega omrežja.
- Obdelava samopostrežnih storitev (terminali in paketomati).
- Izdelava digitalne platforme za upravljanje kurirske službe in nove mobilne aplikacije za stranke kurirske službe.
Pridite delat z nami!
Vir: www.habr.com