Nova IT infrastruktura za data centar Ruske pošte

Siguran sam da su svi čitaoci Habra barem jednom naručili robu u online prodavnicama u inostranstvu, a zatim otišli da primaju pakete u Rusku pošta. Možete li zamisliti razmjere ovog zadatka u smislu organizacije logistike? Pomnožite broj kupaca sa brojem njihovih kupovina, zamislite mapu naše ogromne zemlje, a na njoj - više od 40 hiljada pošta... Inače, Ruska pošta je 2018. godine obradila 345 miliona međunarodnih paketa.

U ovom članku ćemo vam reći s kojim se problemima Pošta suočila i kako ih je riješio LANIT-Integration tim, kreirajući novu IT infrastrukturu za podatkovne centre.

Jedan od modernih logističkih centara Pošte Rusije
 

Prije projekta

Zbog naglog povećanja broja paketa iz stranih trgovina u Kini, zapadnoj Evropi i Sjevernoj Americi, povećano je opterećenje logističkih objekata Pošte Rusije. Stoga je izgrađena nova generacija logističkih centara koji koriste mašine za sortiranje velikog kapaciteta. Potrebna im je podrška računarske infrastrukture.

Infrastruktura data centra je zastarjela i nije pružala potrebne performanse i pouzdanost u radu informacionih sistema preduzeća. Takođe, ruska pošta je iskusila nedostatak računarske snage za pokretanje novih usluga.
 

Korisnički data centri i njihovi problemi

Data centri ruske pošte opslužuju više od 40 objekata, 000 teritorijalnih ureda. Desetine poslovnih usluga koje rade 85 sata dnevno rade u centrima podataka, uključujući usluge e-trgovine.

Preduzeće već danas koristi sisteme za skladištenje, analizu i obradu velikih podataka. Za takve sisteme, upotreba umjetne inteligencije i algoritama strojnog učenja igra važnu ulogu. Do danas, jedan od najvažnijih slučajeva za poduzeće je optimizacija upravljanja tokovima logistike i ubrzanje usluge korisnicima u poštanskim uredima.

Prije početka projekta nadogradnje, bilo je oko 3000 virtuelnih mašina u glavnim i rezervnim data centrima, količina pohranjenih informacija prelazila je 2 petabajta. Data centri su imali složenu strukturu rutiranja saobraćaja povezanu sa podelom na različite segmente prema nivoima bezbednosti.

Razvojem aplikacija i uvođenjem novih usluga, postojeći propusni opseg mrežne opreme u podatkovnim centrima postao je nedovoljan. Potreban je prelazak na interfejse sa novim brzinama: 10 Gb/s, umesto 1 Gb/s za pristup i 40 Gb/s na nivou jezgre, uz potpunu redundantnost opreme i komunikacionih kanala.

Od sektora informacione bezbednosti primljen je zahtev da se infrastruktura podeli na segmente sa visokim nivoom informacione bezbednosti saobraćaja i aplikacija (PN – Privatna mreža i DMZ – Demilitarizovana zona). Zaštitni zidovi (ITU) su propuštali promet koji nije bilo potrebno filtrirati. VRF nije korišten na skretnicama za takav promet. Pravila u ITU-u su bila neoptimalna (desetine hiljada pravila u svakom data centru).

Besprekorna migracija virtuelnih mašina (VM) između centara podataka uz održavanje IP adrese i optimalnog puta za saobraćaj između segmenata, uključujući korporativnu mrežu podataka (CDTN), nije bila moguća.

MSTP je korišten za redundantnost, neki portovi su blokirani (hot standby). Prekidači za jezgru i pristup nisu bili grupirani u klastere, a nije korišteno agregiranje interfejsa (LAG).

Sa pojavom trećeg data centra, potrebna je nova arhitektura i konfiguracija opreme za rad prstena između data centara (predložen je EVPN).

Nije postojao jedinstven koncept razvoja data centara, dokumentiran u obliku projekta i dogovoren sa svim odjelima naručitelja. Aktuelna dokumentacija o radu mreže bila je nepotpuna i zastarjela.
 

Očekivanja kupaca

Projektni tim je imao sljedeće zadatke:

• pripremiti arhitekturu i razvojni koncept za izgradnju mrežne i serverske infrastrukture trećeg data centra;
• izvrši operativnu reviziju postojeće mreže korisnika;
• proširiti kapacitet jezgre mreže za više od 1500 10/40 Gb/s Ethernet portova u svakom data centru (ukupno 4500 portova);
• obezbediti rad prstena između tri data centra sa mogućnošću povećanja brzine do 80 Gb/s u svakom od segmenata u cilju kombinovanja računarskih resursa korisnika iz različitih data centara u jedinstven IT sistem;
• obezbediti 100% duplu rezervu svih elemenata mreže za postizanje ciljanog vremena rada na nivou od 99,995%;
• minimizirajte kašnjenja u saobraćaju između virtuelnih mašina kako biste ubrzali poslovne aplikacije;
• prikupljaju statistiku, analiziraju i dalje optimizuju pravila filtriranja saobraćaja u data centrima (u početku je bilo oko 80 pravila);
• razviti ciljnu arhitekturu kako bi se osigurala besprijekorna migracija kritičnih poslovnih aplikacija korisnika u bilo koji od tri data centra.

Dakle, imali smo na čemu raditi.

Oprema

Pogledajmo pobliže koju opremu smo koristili u projektu.

Vatrozid (NGWF) USG9560:

• podjela po VSYS;
• do 720 Gbps;
• do 720 miliona istovremenih sesija;
• 8 slotova.

 
Ruter NE40E-X8:

• do 7,08 Tbit/s Preklopni kapacitet;
• Performanse prosljeđivanja do 2,880 Mpps;
• 8 slotova za linijske kartice (LPU);
• do 10M BGP IPv4 ruta po MPU;
• do 1500K OSPF IPv4 ruta po MPU;
• do 3000K - IPv4 FIB (ovisno o LPU).

Prekidači serije CE12800:

• Virtuelizacija uređaja: VS (1:16 virtuelizacija), Cluster Switch System (CSS), Super Virtual Fabric (SVF);
• Mrežna virtuelizacija: M-LAG, TRILL, VXLAN i VXLAN premošćavanje, QinQ u VXLAN, EVN (Ethernet virtuelna mreža);
• počevši od VRP V2, EVPN podrška je uključena;
• M-LAG - analog vPC (virtuelni port kanal) za Cisco Nexus;
• Virtual Spanning Tree Protocol (VSTP) – kompatibilan sa Cisco PVST.

CE12804

CE12808

Softver

U projektu smo koristili:

• pretvarač konfiguracijskih datoteka za firewall drugih proizvođača u format komandi za novu opremu;
• skripte našeg vlastitog dizajna za optimizaciju i transformaciju konfiguracije firewall-a.

Izgled konvertora za konvertovanje konfiguracionih fajlova
 
Šema komunikacije između data centara (EVPN VXLAN)
 

Nijanse postavljanja opreme

CE12808
 

• EVPN (standardni) umjesto EVN (vlasnički Huawei) za komunikaciju između podatkovnih centara:

  ○ L2 preko L3 koristeći iBGP u kontrolnoj ravni;
  ○ MAC obuka i najava putem iBGP EVPN porodice (MAC rute, tip 2);
  ○ automatska konstrukcija VXLAN tunela za emitovanje/nepoznati unicast saobraćaj (Inclusive Multicast Routes, tip 3).

• Dva načina podjele na VS:

  ○ zasnovano na portovima (port-mode port) ili na osnovu ASIC-a (port-mode group, port-map uređaja za prikaz);
  ○ port split dimension interface 40GE radi SAMO u Admin VS (bez obzira na port-mod).

USG9560
 

• mogućnost dijeljenja po VSYS,
• između VSYS dinamičkog rutiranja i curenja rute je nemoguće!

CE12804
 
Svi aktivni GW (VRRP Master/Master/Master) sa MAC VRRP filtriranjem između data centara
 
acl number 4000
  rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
  rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
  rule 15 permit
 
interface Eth-Trunk1
  traffic-filter acl 4000 outbound

Šema interakcije resursa između data centara (VXLAN EVPN i All Active GW)
 

Složenost projekta

Glavna poteškoća je bila potreba za sigurnosnom kopijom postojećih aplikacija koristeći računarsku infrastrukturu. Kupac je imao više od 100 različitih aplikacija, od kojih su neke napisane prije skoro 10 godina. Na primjer, ako Yandex može lako ugasiti nekoliko stotina virtuelnih mašina bez štete za krajnje korisnike, onda bi u ruskoj pošti takav pristup zahtijevao razvoj niza aplikacija od nule i promjene u arhitekturi informacionih sistema preduzeća. Probleme koji nastaju u procesu migracije i optimizacije riješili smo u fazi zajedničke revizije računarske infrastrukture. Sve mrežne tehnologije nove za preduzeće (kao što je EVPN) prethodno su testirane u laboratoriji.
 

Rezultati projekta

Projektni tim uključivao je stručnjake "LANIT-Integracija", kupca i njegovih partnera u radu računarske infrastrukture. Formirani su i namenski timovi za podršku dobavljača (Check Point i Huawei). Projekat je trajao dvije godine. Evo šta je urađeno za ovo vrijeme.

• Strategija razvoja mreže data centara, korporativne mreže za prenos podataka (CSTN) i prstena između data centara je razvijena i dogovorena sa svim odeljenjima korisnika.
• Povećana dostupnost usluge. To je uočeno u poslovanju korisnika i dovelo do još većeg povećanja prometa zbog uvođenja novih usluga.
• Više od 40 pravila je migrirano i optimizovano sa FWSM/ASA na USG 000. Različiti ASA konteksti na UGG 9560 su spojeni u jednu bezbednosnu politiku.
• Propusnost portova data centra je povećana sa 1G na 10/40G korišćenjem CE12800/CE6850. Ovo je omogućilo da se eliminišu preopterećenja interfejsa i gubitak paketa.
• Ruteri operaterske klase NE40E-X8 u potpunosti su pokrili potrebe data centra korisnika i KSPD-a, uzimajući u obzir budući razvoj poslovanja.
• Zatraženo je osam novih zahtjeva za značajkama za USG 9560. Od njih, sedam je već implementirano i uključeno je u trenutnu verziju VRP-a. 1 FR implementira Huawei R&D. Ovo je klaster za osam šasija sa mogućnošću konfigurisanja potrebne funkcionalnosti za sinhronizaciju konfiguracije bez sinhronizacije sesija. Potrebno ako je kašnjenje u saobraćaju do jednog od data centara preveliko (Adler - Moskva 1300 km duž glavne rute i 2800 km duž rezervne rute).

Projekat nema analoga u poređenju sa drugim poštanskim kompanijama u Rusiji.

Modernizacija mrežne infrastrukture data centara otvorila je nove mogućnosti preduzeću za razvoj digitalnih usluga.

• Pružanje ličnog računa i mobilne aplikacije za fizička i pravna lica.
• Integracija sa elektronskim prodavnicama za pružanje usluga dostave robe.
• Ispunjenje je skladištenje robe, formiranje i isporuka narudžbi iz elektronskih prodavnica.
• Proširenje mjesta izdavanja naloga, uključujući i korištenje partnerskih mreža.
• Pravno značajan tok dokumenata sa izvođačima. Ovo će eliminisati sporu i skupu isporuku papirnih dokumenata.
• Prijem preporučenih pisama u elektronskoj formi sa dostavom u elektronskom i papirnom obliku (sa štampanjem pošiljaka što bliže krajnjem primaocu). Servis elektronskih preporučenih pisama na portalu javnih servisa.
• Platforma za pružanje telemedicinskih usluga.
• Pojednostavljen prijem i pojednostavljena dostava preporučenih poštanskih pošiljaka jednostavnim elektronskim potpisom.
• Digitalizacija poštanske mreže.
• Obrada samouslužnih usluga (terminali i paketomati).
• Izrada digitalne platforme za upravljanje kurirskom službom i nove mobilne aplikacije za korisnike kurirske službe.

Dođite da radite sa nama!

• Inženjer infrastrukture preduzeća
• Vodeći Linux / DevOps inženjer

izvor: www.habr.com