Mi certas, ke ĉiuj Habr-legantoj almenaŭ unufoje mendis varojn el interretaj vendejoj eksterlande kaj poste iris por ricevi pakaĵojn ĉe rusa Poŝtejo. Ĉu vi povas imagi la amplekson de ĉi tiu tasko, el la vidpunkto de organizado de loĝistiko? Multipliku la nombron de aĉetantoj per la nombro de iliaj aĉetoj, imagu mapon de nia vasta lando, kaj sur ĝi estas pli ol 40 mil poŝtejoj... Cetere, en 2018, Rusa Poŝto prilaboris 345 milionojn da internaciaj pakaĵoj.
En ĉi tiu artikolo ni rakontos al vi, kiajn problemojn alfrontis Pochta kaj kiel la teamo de LANIT Integration solvis ilin, kreante novan IT-infrastrukturon por datumcentroj.
Unu el la modernaj loĝistikaj centroj de Rusa Poŝto
Antaŭ la projekto
Pro la akra kresko de la nombro da pakaĵoj el eksterlandaj vendejoj en Ĉinio, Okcidenta Eŭropo kaj Nordameriko, la ŝarĝo sur la loĝistikaj instalaĵoj de Rusa Poŝto pliiĝis. Tial oni konstruis novgeneraciajn loĝistikajn centrojn, kiuj uzas alt-efikecajn ordigmaŝinojn. Ili postulas subtenon de la komputika infrastrukturo.
La datumcentra infrastrukturo estis malmoderna kaj ne disponigis la necesan agadon kaj fidindecon en la funkciado de entreprenaj informsistemoj. Ankaŭ, Russian Post spertis mankon de komputika potenco por lanĉi novajn servojn.
Klientaj datumcentroj kaj iliaj problemoj
Rusaj Poŝtaj datumcentroj servas pli ol 40 instalaĵojn kaj 000 teritoriajn departementojn. Datumcentroj funkciigas dekduojn da komercaj servoj 85/XNUMX, inkluzive de elektronika komerco.
Hodiaŭ, entreprenoj uzas sistemojn por stoki, analizi kaj prilabori grandajn datumojn. Por tiaj sistemoj, la uzo de artefarita inteligenteco kaj maŝinlernado-algoritmoj ludas gravan rolon. Hodiaŭ, unu el la plej gravaj kazoj por entrepreno estas optimumigi la administradon de loĝistikaj fluoj kaj akceli klientservadon en poŝtejoj.
Antaŭ la komenco de la moderniga projekto, estis ĉirkaŭ 3000 2 virtualaj maŝinoj en la ĉefaj kaj rezervaj datumcentroj, la volumo de konservitaj informoj superis XNUMX petabajtojn. Datencentroj havis kompleksan trafikan vojigstrukturon asociitan kun dividado en diversajn segmentojn laŭ sekurecniveloj.
Kun la disvolviĝo de aplikoj kaj la enkonduko de novaj servoj, la ekzistanta bendolarĝo de retaj ekipaĵoj en datumcentroj fariĝis nesufiĉa. Transiro al interfacoj kun novaj rapidecoj estis postulata: 10 Gbit/s, anstataŭe de 1 Gbit/s sur aliro kaj 40 Gbit/s ĉe la kernnivelo, kun plena redundo de ekipaĵo kaj komunikadkanaloj.
La fako pri informa sekureco ricevis postulon dividi la infrastrukturon en segmentojn kun alta nivelo de informa sekureco de trafiko kaj aplikoj (PN - Privata Reto kaj DMZ - Demilitarigita Zono). Trafiko pasis tra fajroŝirmiloj (FWUoj), kiuj ne bezonis esti filtritaj. VRF sur la ŝaltiloj ne estis uzata por ĉi tiu trafiko. La reguloj pri la fajroŝirmilo estis suboptimumaj (dekoj da miloj da reguloj en ĉiu datumcentro).
Senjunta migrado de virtualaj maŝinoj (VMs) inter datumcentroj konservante la IP-adreson kaj la optimuman vojon por trafiko inter segmentoj, inkluzive de la kompania datumreto (CDN), estis neebla.
MSTP estis uzita por sekurkopio; kelkaj havenoj estis blokitaj (varma standby). La kerno kaj alirŝaltiloj ne estis kombinitaj en malsukcesan areton, kaj interfaco-agregado (LAG) ne estis uzita.
Kun la apero de la tria datencentro, nova arkitekturo kaj ekipaĵagordo estis postulata por funkciigi la ringon inter la datencentroj (EVPN estis proponita).
Ne estis unuigita koncepto por la disvolviĝo de datumcentroj, dokumentita en formo de projekto kaj interkonsentita kun ĉiuj fakoj de la kliento. Nuna retfunkciiga dokumentaro estis nekompleta kaj malaktuala.
Atendoj de klientoj
La projektteamo alfrontis la sekvajn taskojn:
- preparu la arkitekturon kaj disvolvan koncepton por konstrui la reton kaj servilan infrastrukturon de la tria datumcentro;
- fari funkcian revizion de la ekzistanta reto de la kliento;
- vastigi la retan kernkapaciton per pli ol 1500 10/40 Gbps Ethernet-havenoj en ĉiu datumcentro (4500 havenoj entute);
- certigi la funkciadon de ringo inter tri datumcentroj kun la kapablo pliigi rapidecon ĝis 80 Gbit/s en ĉiu segmento por kombini la komputigajn rimedojn de la kliento de malsamaj datumcentroj en ununuran IT-sistemon;
- provizi 100% duoblan rezervon de ĉiuj retaj elementoj por atingi la celon Uptime je la nivelo de 99,995%;
- minimumigi trafikajn prokrastojn inter virtualaj maŝinoj por akceli komercajn aplikojn;
- kolekti statistikojn, fari analizon kaj efektivigi postan optimumigo de trafikaj filtraj reguloj en datumcentroj (komence estis ĉirkaŭ 80 000 reguloj);
- evoluigi celan arkitekturon por certigi senjuntan migradon de la kritikaj komercaj aplikoj de la kliento al iu ajn el la tri datumcentroj.
Do ni havis ion por labori.
Ekipaĵo
Ni rigardu pli detale, kian ekipaĵon ni uzis en la projekto.
Fajromuro (NGWF) USG9560:
- divido de VSYS;
- ĝis 720 Gbps;
- ĝis 720 milionoj da samtempaj sesioj;
- 8 fendoj.
Enkursigilo NE40E-X8:
- ĝis 7,08 Tbit/s Ŝaltiga Kapacito;
- ĝis 2,880 Mpps-Sendanta Efikeco;
- 8 fendoj por liniokartoj (LPU);
- ĝis 10M BGP IPv4-itineroj per MPU;
- ĝis 1500K OSPF IPv4-itineroj per MPU;
- ĝis 3000K - IPv4 FIB (depende de LPU).
CE12800 Serioŝaltiloj:
- Aparato Virtualization: VS (1:16 virtualigo), Cluster Switch System (CSS), Super Virtual Fabric (SVF);
- Reta Virtualigo: M-LAG, TRILL, VXLAN kaj VXLAN-pontado, QinQ en VXLAN, EVN (Ethernet Virtual Network);
- komencante de VRP V2, EVPN-subteno estas inkluzivita;
- M-LAG - analogo de vPC (virtuala Port Channel) por Cisco Nexus;
- Virtuala Spanning Tree Protocol (VSTP) - Kongrua kun Cisco PVST.
CE12804
CE12808
Programaro
En la projekto ni uzis:
- Konvertilo de fajroŝirmilaj agordaj dosieroj de aliaj vendistoj en komandan formaton por novaj ekipaĵoj;
- proprietaj skriptoj por optimumigo kaj konvertado de fajroŝirmilaj agordoj.
Apero de la konvertilo por konverti agordajn dosierojn
Skemo de organizado de komunikado inter datencentroj (EVPN VXLAN)
Nuancoj de agordo de ekipaĵo
CE12808
- EVPN (normo) anstataŭe de EVN (Huawei proprieta) por komunikado inter datencentroj:
○ L2 super L3 uzante iBGP en la Kontrola ebeno;
○ MAC-trejnado kaj ilia reklamo per iBGP EVPN-familio (MAC-itineroj, tipo 2);
○ aŭtomata konstruado de VXLAN-tuneloj por elsendo/nekonata unuelsenda trafiko (Inkluzivaj Multicast Itineroj, tipo 3). - Du dividadreĝimoj sur VS:
○ bazita sur havenoj (port-reĝima haveno) aŭ bazita sur ASIC (port-reĝima grupo, montra aparato haveno-mapo);
○ interfaco de haveno dividita 40GE funkcias NUR en Admin VS (sendepende de haveno-reĝimo).
USG9560
- ebleco de divido de VSYS,
- Dinamika vojigo kaj itinerliko ne eblas inter VSYS!
CE12804
Ĉiuj Aktivaj GW (VRRP Majstro/Majstro/Majstro) kun MAC VRRP-filtrado inter datumcentroj
acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit
interface Eth-Trunk1
traffic-filter acl 4000 outbound
Skemo de rimedinteragado inter datencentroj (VXLAN EVPN kaj All Active GW)
Projektaj malfacilaĵoj
La ĉefmalfacilaĵo estis la bezono sekurkopii ekzistantajn aplikojn uzante komputikinfrastrukturon. La kliento havis pli ol 100 malsamajn aplikojn, iuj el kiuj estis skribitaj antaŭ preskaŭ 10 jaroj. Ekzemple, se por Yandex vi povas facile malŝalti kelkcent virtualajn maŝinojn sen damaĝo al finaj uzantoj, tiam en Russian Post tia aliro postulus la disvolviĝon de kelkaj aplikoj de nulo kaj ŝanĝoj en la arkitekturo de entreprenaj informsistemoj. Ni solvis la problemojn, kiuj aperis dum la migrado kaj optimumigo en la stadio de komuna revizio de la komputika infrastrukturo. Ĉiuj retaj teknologioj novaj al la entrepreno (kiel ekzemple EVPN) spertis preparan testadon en la laboratorio.
Projektaj rezultoj
La projektteamo inkludis specialistojn , la kliento kaj ĝiaj partneroj en la funkciado de la komputika infrastrukturo. Dediĉitaj subtenteamoj de vendistoj (Check Point kaj Huawei) ankaŭ estis formitaj. La projekto daŭris du jarojn. Jen kio estis farita dum ĉi tiu tempo.
- Strategio por la disvolviĝo de reto de datumcentroj, Corporate Data Network (CDTN) kaj ringo inter datumcentroj estis evoluigita kaj interkonsentita kun ĉiuj fakoj de la kliento.
- Havebleco de servoj pliiĝis. Ĉi tio estis notita de la komerco de la kliento kaj kaŭzis eĉ pli grandan kreskon de trafiko pro la enkonduko de novaj servoj.
- Pli ol 40 reguloj estis migritaj kaj optimumigitaj de FWSM/ASA al USG 000. Malsamaj ASA-kuntekstoj sur UGG 9560 estis kombinitaj en ununuran sekurecpolitikon.
- La trairo de datencentraj havenoj estis pliigita de 1G al 10/40G per la uzo de CE12800/CE6850. Ĉi tio ebligis forigi interfacajn superŝarĝojn kaj perdon de pakaĵoj.
- Enkursigiloj NE40E-X8 plene kovris la bezonojn de la datumcentro kaj datumtransiga centro de la kliento, konsiderante estontan komercan disvolviĝon.
- Ok novaj Karakterizaj Petoj estis petitaj por USG 9560. El tiuj, sep jam estis efektivigitaj kaj estas inkluditaj en la nuna versio de la VRP. 1 FR - por efektivigo en Huawei R&D. Ĉi tio estas ok-ĉasia areto kun la kapablo agordi la necesan funkciecon por agorda sinkronigado sen sesiosinkronigado. Ĝi estas postulata se la trafika prokrasto al unu el la datumcentroj estas tro alta (Adler - Moskvo 1300 km laŭ la ĉefa vojo kaj 2800 km laŭ la rezerva itinero).
La projekto ne havas analogojn kompare kun aliaj rusaj poŝtaj kompanioj.
Modernigo de la reto-infrastrukturo de datumcentroj malfermis novajn ŝancojn por la entrepreno evoluigi ciferecajn servojn.
- Provizante personan konton kaj moveblan aplikaĵon por individuoj kaj juraj entoj.
- Integriĝo kun elektronikaj vendejoj por provizi varajn liverservojn.
- Plenumado - stokado de varoj, formado kaj livero de mendoj de elektronikaj vendejoj.
- Plivastigi mendo-reprenpunktojn, inkluzive de uzado de filiaj retoj.
- Laŭleĝe signifa dokumentfluo kun kontraŭpartioj. Ĉi tio forigos la malrapidan kaj multekostan sendon de paperaj dokumentoj.
- Akcepto de registritaj leteroj en elektronika formo kun livero kaj elektronike kaj en papera formo (kun presado de eroj kiel eble plej proksime al la fina ricevanto). Servo de elektronikaj registritaj leteroj en la portalo de publikaj servoj.
- Platformo por provizi telemedicinajn servojn.
- Simpligita ricevo kaj simpligita livero de registrita poŝto per simpla elektronika subskribo.
- Ciferecigo de la poŝtoficeja reto.
- Restrukturado de memservaj servoj (terminaloj kaj pakaĵterminaloj).
- Kreo de cifereca platformo por administri la kurierservon kaj novan moveblan aplikaĵon por kurierservoklientoj.
Venu labori kun ni!
fonto: www.habr.com