Nova IT infrastruktura za podatkovni centar Ruske pošte

Siguran sam da su svi čitatelji Habra barem jednom naručili robu iz online trgovina u inozemstvu, a zatim otišli primiti pakete u rusku poštu. Možete li zamisliti razmjere ovog zadatka, s gledišta organiziranja logistike? Pomnožite broj kupaca s brojem njihovih kupnji, zamislite kartu naše goleme zemlje, a na njoj je više od 40 tisuća poštanskih ureda... Usput, u 2018. ruska pošta obradila je 345 milijuna međunarodnih paketa.

U ovom članku ćemo vam reći s kojim se problemima Pochta suočavala i kako ih je LANIT Integration tim riješio, stvarajući novu IT infrastrukturu za podatkovne centre.

Jedan od modernih logističkih centara ruske pošte
 

Prije projekta

Zbog naglog povećanja broja paketa iz stranih trgovina u Kini, zapadnoj Europi i Sjevernoj Americi, povećalo se opterećenje logističkih objekata ruske pošte. Stoga su izgrađeni logistički centri nove generacije koji koriste strojeve za sortiranje visokih performansi. Potrebna im je podrška računalne infrastrukture.

Infrastruktura podatkovnog centra bila je zastarjela i nije pružala potrebne performanse i pouzdanost u radu informacijskih sustava poduzeća. Također, Ruska pošta iskusila je nedostatak računalne snage za pokretanje novih usluga.
 

Podatkovni centri korisnika i njihovi problemi

Podatkovni centri Ruske pošte opslužuju više od 40 objekata i 000 teritorijalnih odjela. Podatkovni centri upravljaju desecima poslovnih usluga 85/XNUMX, uključujući usluge e-trgovine.

Danas poduzeća koriste sustave za pohranu, analizu i obradu velikih podataka. Za takve sustave korištenje umjetne inteligencije i algoritama strojnog učenja igra važnu ulogu. Danas je jedan od najvažnijih slučajeva za poduzeće optimizacija upravljanja logističkim tokovima i ubrzanje korisničke službe u poštanskim uredima.

Prije početka projekta modernizacije bilo je oko 3000 virtualnih strojeva u glavnim i rezervnim podatkovnim centrima, obujam pohranjenih informacija premašio je 2 petabajta. Podatkovni centri imali su složenu strukturu usmjeravanja prometa povezanu s podjelom na različite segmente prema razinama sigurnosti.

Razvojem aplikacija i uvođenjem novih usluga, postojeća propusnost mrežne opreme u podatkovnim centrima postala je nedostatna. Bio je potreban prijelaz na sučelja s novim brzinama: 10 Gbit/s, umjesto 1 Gbit/s na pristupu i 40 Gbit/s na razini jezgre, uz punu redundanciju opreme i komunikacijskih kanala.

Odjel informacijske sigurnosti dobio je zahtjev za podjelom infrastrukture na segmente s visokom razinom informacijske sigurnosti prometa i aplikacija (PN – Privatna mreža i DMZ – Demilitarizirana zona). Promet je prolazio kroz vatrozidove (FWU) koje nije trebalo filtrirati. VRF na prekidačima nije korišten za ovaj promet. Pravila na vatrozidu nisu bila optimalna (desetke tisuća pravila u svakom podatkovnom centru).

Besprijekorna migracija virtualnih strojeva (VM) između podatkovnih centara uz zadržavanje IP adrese i optimalnog puta za promet između segmenata, uključujući korporativnu podatkovnu mrežu (CDN), bila je nemoguća.

MSTP je korišten za backup; neki portovi su bili blokirani (hot standby). Preklopnici za jezgru i pristup nisu bili kombinirani u failover klaster, a agregacija sučelja (LAG) nije korištena.

Pojavom trećeg podatkovnog centra bila je potrebna nova arhitektura i konfiguracija opreme za rad prstena između podatkovnih centara (predložen je EVPN).

Nije postojao jedinstveni koncept razvoja podatkovnih centara, dokumentiran u obliku projekta i dogovoren sa svim odjelima naručitelja. Trenutna operativna dokumentacija mreže bila je nepotpuna i zastarjela.
 

Očekivanja kupaca

Projektni tim se suočio sa sljedećim zadacima:

• pripremiti arhitekturu i koncept razvoja za izgradnju mrežne i poslužiteljske infrastrukture trećeg podatkovnog centra;
• provesti operativnu reviziju postojeće mreže korisnika;
• proširiti kapacitet jezgre mreže za više od 1500 10/40 Gbit/s Ethernet portova u svakom podatkovnom centru (ukupno 4500 portova);
• osigurati rad prstena između tri podatkovna centra s mogućnošću povećanja brzine do 80 Gbit/s u svakom segmentu kako bi se računalni resursi korisnika iz različitih podatkovnih centara spojili u jedinstven IT sustav;
• osigurati 100% dvostruku rezervu svih mrežnih elemenata za postizanje ciljnog vremena rada na razini od 99,995%;
• minimizirajte kašnjenja u prometu između virtualnih strojeva kako biste ubrzali poslovne aplikacije;
• prikupljanje statistike, analiza i naknadna optimizacija pravila filtriranja prometa u podatkovnim centrima (u početku je bilo oko 80 pravila);
• razviti ciljanu arhitekturu kako bi se osigurala besprijekorna migracija kritičnih poslovnih aplikacija korisnika u bilo koji od tri podatkovna centra.

Tako da smo imali na čemu raditi.

Оборудование

Pogledajmo pobliže koju smo opremu koristili u projektu.

Vatrozid (NGWF) USG9560:

• dijeljenje po VSYS;
• do 720 Gbps;
• do 720 milijuna istodobnih sesija;
• 8 utora.

 
Usmjerivač NE40E-X8:

• do 7,08 Tbit/s Preklopni kapacitet;
• do 2,880 Mpps performanse prosljeđivanja;
• 8 utora za linijske kartice (LPU);
• do 10M BGP IPv4 ruta po MPU-u;
• do 1500K OSPF IPv4 ruta po MPU-u;
• do 3000K – IPv4 FIB (ovisno o LPU-u).

Prekidači serije CE12800:

• Virtualizacija uređaja: VS (1:16 virtualizacija), Cluster Switch System (CSS), Super Virtual Fabric (SVF);
• Virtualizacija mreže: M-LAG, TRILL, VXLAN i VXLAN premošćivanje, QinQ u VXLAN-u, EVN (Ethernet virtualna mreža);
• počevši od VRP V2, uključena je EVPN podrška;
• M-LAG – analog vPC (virtualni port kanal) za Cisco Nexus;
• Protokol virtualnog razapinjućeg stabla (VSTP) – kompatibilan s Cisco PVST.

CE12804

CE12808

Softver

U projektu smo koristili:

• Konverter konfiguracijskih datoteka vatrozida drugih proizvođača u naredbeni format za novu opremu;
• vlasničke skripte za optimiziranje i pretvaranje konfiguracija vatrozida.

Izgled pretvarača za pretvaranje konfiguracijskih datoteka
 
Shema organiziranja komunikacije između podatkovnih centara (EVPN VXLAN)
 

Nijanse postavljanja opreme

CE12808
 

• EVPN (standard) umjesto EVN (Huawei vlasništvo) za komunikaciju između podatkovnih centara:

  ○ L2 preko L3 koristeći iBGP u kontrolnoj ravnini;
  ○ MAC obuka i njihovo oglašavanje putem iBGP EVPN obitelji (MAC rute, tip 2);
  ○ automatska izgradnja VXLAN tunela za emitirani/nepoznati unicast promet (Inclusive Multicast Routes, tip 3).

• Dva načina podjele na VS:

  ○ na temelju portova (port-mode port) ili na temelju ASIC-a (port-mode group, port-map uređaja za prikaz);
  ○ port split dimension sučelje 40GE radi SAMO u Admin VS (bez obzira na port-mode).

USG9560
 

• mogućnost podjele po VSYS,
• Dinamičko usmjeravanje i curenje rute nisu mogući između VSYS!

CE12804
 
Svi aktivni GW (VRRP Master/Master/Master) s MAC VRRP filtriranjem između podatkovnih centara
 
acl number 4000
  rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
  rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
  rule 15 permit
 
interface Eth-Trunk1
  traffic-filter acl 4000 outbound

Shema interakcije resursa između podatkovnih centara (VXLAN EVPN i All Active GW)
 

Projektne poteškoće

Glavna poteškoća bila je potreba za backupom postojećih aplikacija korištenjem računalne infrastrukture. Kupac je imao više od 100 različitih aplikacija, od kojih su neke napisane prije gotovo 10 godina. Na primjer, ako za Yandex možete jednostavno isključiti nekoliko stotina virtualnih strojeva bez štete za krajnje korisnike, tada bi u Ruskoj pošti takav pristup zahtijevao razvoj niza aplikacija od nule i promjene u arhitekturi poslovnih informacijskih sustava. Probleme nastale tijekom procesa migracije i optimizacije riješili smo u fazi zajedničke revizije računalne infrastrukture. Sve mrežne tehnologije nove u poduzeću (kao što je EVPN) prošle su preliminarno testiranje u laboratoriju.
 

Rezultati projekta

Projektni tim uključivao je stručnjake "LANIT-Integracija", kupca i njegovih partnera u radu računalne infrastrukture. Formirani su i namjenski timovi za podršku dobavljača (Check Point i Huawei). Projekt je trajao dvije godine. To je ono što je učinjeno za to vrijeme.

• Strategija razvoja mreže podatkovnih centara, Corporate Data Network (CDTN) i prstena između podatkovnih centara je razvijena i usuglašena sa svim odjelima naručitelja.
• Dostupnost usluga je povećana. To je zabilježilo poslovanje korisnika i dovelo do još većeg povećanja prometa zbog uvođenja novih usluga.
• Više od 40 pravila migrirano je i optimizirano s FWSM/ASA na USG 000. Različiti ASA konteksti na UGG 9560 kombinirani su u jednu sigurnosnu politiku.
• Propusnost portova podatkovnog centra povećana je s 1G na 10/40G korištenjem CE12800/CE6850. To je omogućilo eliminiranje preopterećenja sučelja i gubitka paketa.
• Carrier-grade usmjerivači NE40E-X8 u potpunosti su pokrili potrebe korisničkog podatkovnog centra i centra za prijenos podataka, uzimajući u obzir budući razvoj poslovanja.
• Osam novih Zahtjeva za značajke zatraženo je za USG 9560. Od njih je sedam već implementirano i uključeni su u trenutnu verziju VRP-a. 1 FR - za implementaciju u Huawei R&D. Ovo je klaster s osam šasija s mogućnošću konfiguracije potrebne funkcionalnosti za sinkronizaciju konfiguracije bez sinkronizacije sesije. Potreban je ako je kašnjenje prometa prema jednom od podatkovnih centara preveliko (Adler - Moskva 1300 km duž glavne rute i 2800 km duž rezervne rute).

Projekt nema analoga u usporedbi s drugim ruskim poštanskim tvrtkama.

Modernizacija mrežne infrastrukture podatkovnih centara otvorila je nove mogućnosti poduzećima za razvoj digitalnih usluga.

• Pružanje osobnog računa i mobilne aplikacije za fizičke i pravne osobe.
• Integracija s elektroničkim trgovinama za pružanje usluga dostave robe.
• Izvršenje - skladištenje robe, formiranje i isporuka narudžbi iz elektroničkih trgovina.
• Proširenje točaka za preuzimanje narudžbi, uključujući korištenje partnerskih mreža.
• Pravno značajan protok dokumenata s protustrankama. To će eliminirati sporo i skupo slanje papirnatih dokumenata.
• Prihvat preporučenih pisama u elektroničkom obliku s dostavom u elektroničkom i papirnatom obliku (uz ispis pošiljki što bliže krajnjem primatelju). Usluga elektroničkih preporučenih pisama na portalu javnih usluga.
• Platforma za pružanje telemedicinskih usluga.
• Pojednostavljeni prijem i uručenje preporučene pošte jednostavnim elektroničkim potpisom.
• Digitalizacija mreže poštanskih ureda.
• Redizajn samouslužnih usluga (terminala i paketomata).
• Izrada digitalne platforme za upravljanje kurirskom službom i nove mobilne aplikacije za klijente kurirske službe.

Dođite raditi s nama!

• Inženjer korporativne infrastrukture
• Vodeći Linux/DevOps inženjer

Izvor: www.habr.com