Russian Post datu-zentrorako IT azpiegitura berria

Ziur nago Habr-eko irakurle guztiek atzerriko lineako dendetan salgaiak eskatu dituztela gutxienez behin eta gero paketeak hartzera joan direla Errusiako Posta bulego batean. Imajinatzen al duzu zeregin horren tamaina, logistika antolatzearen ikuspuntutik? Biderkatu erosle kopurua euren erosketen kopuruarekin, imajinatu gure herrialde zabalaren mapa bat, eta bertan 40 mila posta bulego baino gehiago daude... Bide batez, 2018an, Russian Post-ek 345 milioi nazioarteko pakete prozesatu zituen.

Artikulu honetan Pochtak zer arazo izan zituen eta nola konpondu zituen LANIT Integration taldeak, datu-zentroetarako IT azpiegitura berria sortuz.

Russian Post-en zentro logistiko modernoetako bat
 

Proiektuaren aurretik

Txinan, Mendebaldeko Europan eta Ipar Amerikan atzerriko dendetako paketeen kopurua handitu denez, Russian Post-en instalazio logistikoen zama handitu egin da. Hori dela eta, belaunaldi berriko zentro logistikoak eraiki ziren, errendimendu handiko sailkatzeko makinak erabiltzen dituztenak. Informatika azpiegituraren laguntza behar dute.

Datu-zentroaren azpiegitura zaharkituta zegoen eta ez zuen beharrezko errendimendua eta fidagarritasuna ematen enpresa-informazio sistemen funtzionamenduan. Era berean, Russian Post-ek zerbitzu berriak abiarazteko ahalmen informatiko falta izan zuen.
 

Bezeroen datu-zentroak eta haien arazoak

Russian Post datu-zentroek 40 instalazio eta 000 lurralde-departamendu baino gehiago zerbitzatzen dituzte. Datu-zentroek 85/XNUMX enpresa-zerbitzu dozenaka funtzionatzen dituzte, merkataritza elektronikoko zerbitzuak barne.

Gaur egun, enpresek datu handiak gordetzeko, aztertzeko eta prozesatzeko sistemak erabiltzen dituzte. Horrelako sistemetarako, adimen artifizialaren eta ikaskuntza automatikoko algoritmoen erabilerak paper garrantzitsua betetzen du. Gaur egun, enpresa baten kasu garrantzitsuenetako bat fluxu logistikoen kudeaketa optimizatzea eta posta bulegoetan bezeroarentzako arreta bizkortzea da.

Modernizazio proiektua hasi aurretik, 3000 makina birtual inguru zeuden datu-zentro nagusietan eta babeskopietan, biltegiratutako informazioaren bolumena 2 petabyte baino gehiagokoa zen. Datu-zentroek trafiko-bideratze-egitura konplexua zuten segurtasun-mailen arabera hainbat segmentutan banatzearekin lotutakoa.

Aplikazioen garapenarekin eta zerbitzu berriak sartzearekin batera, sareko ekipoen banda zabalera nahikoa ez da datu zentroetan. Abiadura berriekin interfazeetarako trantsizioa behar zen: 10 Gbit/s, sarbidean 1 Gbit/s beharrean eta 40 Gbit/s oinarrizko mailan, ekipoen eta komunikazio kanalen erredundantzia osoarekin.

Informazioaren segurtasun sailak azpiegitura trafikoaren eta aplikazioen informazio segurtasun maila altua duten segmentuetan banatzeko eskakizuna jaso zuen (PN - Sare Pribatua eta DMZ - Zona Desmilitarizatua). Trafikoa iragazi behar ez zuten suebakietatik (FWU) igaro zen. Etengailuetako VRF ez da erabili trafiko honetarako. Suebakiaren arauak optimoak ez ziren (hamarka mila arau datu-zentro bakoitzean).

Makina birtualen (VM) datu-zentroen arteko migrazioa ezinezkoa zen IP helbidea eta segmentuen arteko trafikorako bide optimoa mantenduz, datu-sarea korporatiboa barne (CDN) barne.

MSTP babeskopiak egiteko erabili zen; ataka batzuk blokeatuta zeuden (egonkortasun beroa). Nukleoa eta sarbide-etengailuak ez ziren konbinatu hutsegite-kluster batean, eta interfaze-agregazioa (LAG) ez zen erabili.

Hirugarren datu-zentroaren etorrerarekin, arkitektura eta ekipoen konfigurazio berri bat behar zen datu-zentroen arteko eraztuna funtzionatzeko (EVPN proposatu zen).

Ez zegoen datu-zentroen garapenerako kontzeptu bateraturik, proiektu moduan dokumentatua eta bezeroaren sail guztiekin adostua. Sarearen funtzionamenduaren egungo dokumentazioa osatu gabe zegoen eta zaharkituta zegoen.
 

Bezeroen itxaropenak

Proiektu-taldeak zeregin hauei aurre egin zien:

• hirugarren datu-zentroaren sare eta zerbitzariaren azpiegitura eraikitzeko arkitektura eta garapen kontzeptua prestatzea;
• bezeroaren lehendik dagoen sarearen auditoretza operatiboa egitea;
• zabaldu sarearen oinarrizko gaitasuna datu-zentro bakoitzean 1500 10/40 Gbps Ethernet ataka baino gehiagotan (4500 ataka guztira);
• hiru datu-zentroren arteko eraztun baten funtzionamendua ziurtatzea, segmentu bakoitzean 80 Gbit/s-ra arte abiadura handitzeko gaitasunarekin, bezeroaren datu-zentro ezberdinetako baliabide informatikoak informatika-sistema bakar batean konbinatzeko;
• sareko elementu guztien % 100eko erreserba bikoitza eskaintzea, % 99,995eko helburua Erabilera-denbora lortzeko;
• makina birtualen arteko trafiko-atzerapenak minimizatzea negozio-aplikazioak bizkortzeko;
• estatistikak bildu, azterketa egin eta datu-zentroetan trafikoa iragazteko arauen ondorengo optimizazioa egin (hasieran 80 arau inguru zeuden);
• helburu-arkitektura bat garatu bezeroaren negozio-aplikazio kritikoak hiru datu-zentroetako edozeinetara migratzea bermatzeko.

Beraz, zerbait landu genuen.

Оборудование

Ikus dezagun zer ekipamendu erabili dugun proiektuan.

Firewall (NGWF) USG9560:

• VSYS-en zatiketa;
• 720 Gbps arte;
• aldibereko 720 milioi saio arte;
• 8 zirrikitu.

 
NE40E-X8 bideratzailea:

• gehienez 7,08 Tbit/s Aldaketa Ahalmena;
• 2,880 Mpps birbidaltze-errendimendua arte;
• Line-txarteletarako 8 zirrikitu (LPU);
• gehienez 10M BGP IPv4 ibilbide MPU bakoitzeko;
• gehienez 1500K OSPF IPv4 ibilbide MPU bakoitzeko;
• 3000K arte – IPv4 FIB (LPUren arabera).

CE12800 serieko etengailuak:

• Gailuen birtualizazioa: VS (1:16 birtualizazioa), Cluster Switch System (CSS), Super Virtual Fabric (SVF);
• Sarearen birtualizazioa: M-LAG, TRILL, VXLAN eta VXLAN zubiak, QinQ VXLAN-en, EVN (Ethernet Virtual Network);
• VRP V2tik hasita, EVPN euskarria sartzen da;
• M-LAG - Cisco Nexus-erako vPC-ren analogikoa (Portu-kanal birtuala);
• Virtual Spanning Tree Protocol (VSTP) - Cisco PVST-rekin bateragarria.

CE12804

CE12808

Software

Proiektuan erabili dugu:

• Beste saltzaile batzuen suebakiaren konfigurazio-fitxategiak ekipo berrietarako komando formatuan bihurtzea;
• suebakiaren konfigurazioak optimizatzeko eta bihurtzeko script jabedunak.

Konfigurazio fitxategiak bihurtzeko bihurgailuaren itxura
 
Datu zentroen arteko komunikazioa antolatzeko eskema (EVPN VXLAN)
 

Ekipamenduak konfiguratzeko ñabardurak

CE12808
 

• Datu-zentroen arteko komunikaziorako EVPN (estandarra) EVN (Huawei jabeduna) ordez:

  ○ L2 L3 baino gehiago Kontrol-planoan iBGP erabiliz;
  ○ MAC prestakuntza eta haien iragarkia iBGP EVPN familiaren bidez (MAC ibilbideak, 2 mota);
  ○ VXLAN tunelen eraikuntza automatikoa difusiorako / unicast trafiko ezezagunetarako (Multicast Ibilbide barne, 3 mota).

• Bi zatiketa modu VS-n:

  ○ portuetan oinarrituta (port-mode portua) edo ASIC-n oinarrituta (port-mode group, display device port-map);
  ○ ataka zatitutako dimentsioko interfazeak 40GE-k Admin VS-n BAKARRIK funtzionatzen du (portu-modua edozein dela ere).

USG9560
 

• VSYS arabera banatzeko aukera,
• Bideratze dinamikoa eta ibilbide-filtrazioa ezin dira VSYS artean!

CE12804
 
GW aktibo guztiak (VRRP Master/Master/Master) datu-zentroen arteko MAC VRRP iragazketarekin
 
acl number 4000
  rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
  rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
  rule 15 permit
 
interface Eth-Trunk1
  traffic-filter acl 4000 outbound

Datu-zentroen arteko baliabideen elkarrekintzaren eskema (VXLAN EVPN eta All Active GW)
 

Proiektuaren zailtasunak

Zailtasun nagusia lehendik zeuden aplikazioen babeskopiak egin beharra izan zen informatika-azpiegitura erabiliz. Bezeroak 100 aplikazio ezberdin baino gehiago zituen, eta horietako batzuk duela ia 10 urte idatzi ziren. Esate baterako, Yandex-ek ehunka makina birtual erraz itzali badituzu azken erabiltzaileei kalterik egin gabe, orduan Russian Post-en planteamendu horrek hutsetik aplikazio batzuk garatzea eta enpresen informazio sistemen arkitekturan aldaketak eskatuko lituzke. Migrazio eta optimizazio prozesuan sortutako arazoak konputazio-azpiegituraren auditoretza bateratuaren fasean konpondu genituen. Enpresarako berri diren sareko teknologia guztiak (adibidez, EVPN) aurretiazko probak egin dituzte laborategian.
 

Proiektuaren emaitzak

Proiektuko taldean espezialistak zeuden "LANIT-Integrazioak", bezeroa eta bere bazkideak informatika-azpiegituraren ustiapenean. Saltzaileen (Check Point eta Huawei) laguntza-talde dedikatuak ere sortu ziren. Proiektuak bi urte iraun zituen. Hau da garai honetan egin zena.

• Datu-zentroen sare bat, Corporate Data Network (CDTN) eta datu-zentroen arteko eraztun bat garatzeko estrategia bat garatu eta bezeroaren sail guztiekin adostu da.
• Zerbitzuen erabilgarritasuna handitu egin da. Hala ohartu zen bezeroaren negozioak eta trafikoa are gehiago areagotzea ekarri zuen zerbitzu berriak sartu zirelako.
• 40 arau baino gehiago migratu eta optimizatu dira FWSM/ASAtik USG 000ra. UGG 9560-n ASA testuinguru desberdinak segurtasun-politika bakar batean konbinatu dira.
• Datu-zentroko ataken errendimendua 1Gtik 10/40Gra handitu da CE12800/CE6850 erabiliz. Horrek interfazearen gainkargak eta paketeen galerak ezabatzea ahalbidetu zuen.
• NE40E-X8 garraiolari-mailako bideratzaileek bezeroaren datu-zentroaren eta datu-transferentzia-zentroaren beharrak guztiz estali zituzten, etorkizuneko negozio-garapena kontuan hartuta.
• Zortzi Ezaugarri Eskaera berri eskatu dira USG 9560rako. Horietatik zazpi dagoeneko inplementatu dira eta VRPren egungo bertsioan sartuta daude. 1 FR - Huawei I+G-n ezartzeko. Zortzi xasiseko kluster bat da, saio sinkronizatu gabe konfigurazio sinkronizatzeko beharrezko funtzionalitateak konfiguratzeko gaitasuna duena. Beharrezkoa da datu-zentroetako batean trafikoaren atzerapena handiegia bada (Adler - Mosku 1300 km ibilbide nagusian eta 2800 km erreserbako ibilbidean).

Proiektuak ez du analogorik Errusiako beste posta-enpresekin alderatuta.

Datu-zentroen sare-azpiegituraren modernizazioak aukera berriak ireki dizkio enpresari zerbitzu digitalak garatzeko.

• Pertsona fisiko eta juridikoentzako kontu pertsonala eta mugikorreko aplikazioa eskaintzea.
• Salgaiak bidaltzeko zerbitzuak eskaintzeko denda elektronikoekin integratzea.
• Betetzea - ​​salgaien biltegiratzea, denda elektronikoetako eskaerak sortzea eta entregatzea.
• Eskaerak jasotzeko puntuak zabaltzea, kideen sareak erabiliz barne.
• Lege aldetik esanguratsua den dokumentu-fluxua kontraparteekin. Horrek paperezko dokumentuen bidalketa motela eta garestia ezabatuko du.
• Gutun ziurtatuak inprimaki elektronikoan onartzea, bidalketa elektronikoan zein paperean (azken hartzailetik ahalik eta hurbilen inprimatuz). Gutun ziurtatu elektronikoen zerbitzua zerbitzu publikoen atarian.
• Telemedikuntza zerbitzuak emateko plataforma.
• Sinadura elektroniko soil baten bidez, jaso eta bidalketa erraztua posta ziurtatua.
• Posta-sarearen digitalizazioa.
• Autozerbitzuen zerbitzuen birdiseinua (terminalak eta pakete-terminalak).
• Mezularitza-zerbitzua kudeatzeko plataforma digitala eta mezularitza-zerbitzuaren bezeroentzako mugikorreko aplikazio berri bat sortzea.

Zatoz gurekin lanera!

• Azpiegitura korporatiboaren ingeniaria
• Linux/DevOps ingeniari nagusia

Iturria: www.habr.com