Sunt sigur că toți cititorii Habr au comandat măcar o dată mărfuri în magazinele online din străinătate și apoi au mers să primească colete la oficiul poștal rusesc. Vă puteți imagina amploarea acestei sarcini în ceea ce privește organizarea logisticii? Înmulțiți numărul cumpărătorilor cu numărul achizițiilor lor, imaginați-vă o hartă a țării noastre vaste și pe ea - mai mult de 40 de mii de oficii poștale ... Apropo, în 2018, Russian Post a procesat 345 de milioane de colete internaționale.
În acest articol, vă vom spune cu ce probleme s-a confruntat Postul și cum le-a rezolvat echipa LANIT-Integration, creând o nouă infrastructură IT pentru centrele de date.
Unul dintre centrele logistice moderne ale Poștei Ruse
Înainte de proiect
Datorită creșterii puternice a numărului de colete din magazinele străine din China, Europa de Vest și America de Nord, sarcina instalațiilor logistice ale Poștei Ruse a crescut. Prin urmare, a fost construită o nouă generație de centre logistice, care utilizează mașini de sortare de mare capacitate. Au nevoie de sprijin din partea infrastructurii de calcul.
Infrastructura centrului de date era depășită și nu a oferit performanța și fiabilitatea necesare în funcționarea sistemelor informaționale ale întreprinderii. De asemenea, Russian Post s-a confruntat cu o lipsă de putere de calcul pentru a lansa noi servicii.
Centrele de date pentru clienți și problemele acestora
Centrele de date Russian Post deservesc peste 40 de obiecte, 000 de birouri teritoriale. Zeci de servicii de afaceri non-stop operează în centre de date, inclusiv servicii de comerț electronic.
Deja astăzi, întreprinderea folosește sisteme pentru stocarea, analizarea și procesarea datelor mari. Pentru astfel de sisteme, utilizarea inteligenței artificiale și a algoritmilor de învățare automată joacă un rol important. Până în prezent, unul dintre cele mai importante cazuri pentru întreprindere este optimizarea managementului fluxului logistic și accelerarea serviciului clienți în oficiile poștale.
Înainte de începerea proiectului de upgrade, în centrele de date principale și de rezervă existau aproximativ 3000 de mașini virtuale, cantitatea de informații stocate depășea 2 petaocteți. Centrele de date aveau o structură complexă de rutare a traficului asociată cu împărțirea în diferite segmente în funcție de nivelurile de securitate.
Odată cu dezvoltarea aplicațiilor și introducerea de noi servicii, lățimea de bandă existentă a echipamentelor de rețea din centrele de date a devenit insuficientă. Era necesară o tranziție la interfețe cu viteze noi: 10 Gb/s, în loc de 1 Gb/s pentru acces și 40 Gb/s la nivel de bază, cu redundanță deplină a echipamentelor și canalelor de comunicație.
De la departamentul de securitate informațională a fost primită o cerință de împărțire a infrastructurii în segmente cu un nivel ridicat de securitate informațională a traficului și aplicațiilor (PN - Private Network și DMZ - Demilitarized Zone). Firewall-urile (ITU) au trecut trafic care nu a fost necesar să fie filtrat. VRF nu a fost folosit pe comutatoare pentru un astfel de trafic. Regulile de la ITU au fost suboptime (zeci de mii de reguli în fiecare centru de date).
Migrarea fără întreruperi a mașinilor virtuale (VM) între centrele de date, menținând în același timp adresa IP și calea optimă pentru traficul între segmente, inclusiv rețeaua de date corporativă (CDTN), nu a fost posibilă.
MSTP a fost folosit pentru redundanță, unele porturi au fost blocate (hot standby). Comutatoarele de bază și de acces nu au fost grupate cu failover și nu a fost utilizată nicio agregare a interfeței (LAG).
Odată cu apariția celui de-al treilea centru de date, a fost necesară o nouă arhitectură și configurație a echipamentelor pentru a opera inelul dintre centrele de date (a fost propus EVPN).
Nu a existat un concept unic pentru dezvoltarea centrelor de date, documentat sub forma unui proiect și convenit cu toate departamentele clientului. Documentația actuală de funcționare a rețelei era incompletă și depășită.
Așteptările clienților
Echipa de proiect a avut următoarele sarcini:
- pregătirea arhitecturii și conceptului de dezvoltare pentru construirea infrastructurii de rețea și server a celui de-al treilea centru de date;
- efectuarea unui audit operațional al rețelei existente a clientului;
- extindeți capacitatea de bază a rețelei cu peste 1500 de porturi Ethernet 10/40 Gb/s în fiecare centru de date (4500 de porturi în total);
- asigura funcționarea unui inel între trei centre de date cu posibilitatea creșterii vitezei până la 80 Gb/s în fiecare dintre segmente pentru a combina resursele de calcul ale clientului din diferite centre de date într-un singur sistem IT;
- asigura 100% rezervă dublă a tuturor elementelor de rețea pentru a atinge ținta Uptime la nivelul de 99,995%;
- minimizați întârzierile de trafic între mașinile virtuale pentru a accelera aplicațiile de afaceri;
- colectează statistici, analizează și optimizează în continuare regulile de filtrare a traficului în centrele de date (inițial erau aproximativ 80 de reguli);
- dezvolta o arhitectură țintă pentru a asigura migrarea fără întreruperi a aplicațiilor de afaceri critice ale clientului către oricare dintre cele trei centre de date.
Astfel, am avut ceva de lucrat.
Оборудование
Să aruncăm o privire mai atentă la ce echipament am folosit în proiect.
Firewall (NGWF) USG9560:
- divizarea de către VSYS;
- până la 720 Gbps;
- până la 720 de milioane de sesiuni simultane;
- 8 sloturi.
Router NE40E-X8:
- Capacitate de comutare de până la 7,08 Tbit/s;
- Performanță de redirecționare de până la 2,880 Mpps;
- 8 sloturi pentru carduri de linie (LPU);
- până la 10 M rute BGP IPv4 per MPU;
- până la 1500K rute OSPF IPv4 per MPU;
- până la 3000K - IPv4 FIB (depinde de LPU).
Comutatoare seria CE12800:
- Virtualizare dispozitiv: VS (virtualizare 1:16), Cluster Switch System (CSS), Super Virtual Fabric (SVF);
- Virtualizare rețea: M-LAG, TRILL, VXLAN și VXLAN bridging, QinQ în VXLAN, EVN (Ethernet Virtual Network);
- începând cu VRP V2, suportul EVPN este inclus;
- M-LAG - analog vPC (canal de port virtual) pentru Cisco Nexus;
- Protocolul Virtual Spanning Tree (VSTP) - Compatibil cu Cisco PVST.
CE12804
CE12808
Software
În proiect am folosit:
- convertor de fișiere de configurare pentru firewall-uri ale altor furnizori în format de comandă pentru echipamente noi;
- scripturi de design propriu pentru a optimiza și transforma configurația firewall-urilor.
Aspectul convertorului pentru conversia fișierelor de configurare
Schema de comunicare între centrele de date (EVPN VXLAN)
Nuanțele instalării echipamentelor
CE12808
- EVPN (standard) în loc de EVN (proprietar Huawei) pentru comunicarea între centrele de date:
○ L2 peste L3 folosind iBGP în planul de control;
○ Antrenament și anunț MAC prin familia iBGP EVPN (rute MAC, tip 2);
○ construcția automată a tunelurilor VXLAN pentru trafic unicast broadcast/necunoscut (Inclusive Multicast Routes, tip 3). - Două moduri de divizare pe VS:
○ bazat pe porturi (port-mode port) sau bazat pe ASIC (grup port-mod, display device port-map);
○ interfața cu dimensiunea divizată de port 40GE funcționează NUMAI în Admin VS (indiferent de modul de port).
USG9560
- posibilitatea de împărțire la VSYS,
- între rutarea dinamică VSYS și scurgerea rutei este imposibil!
CE12804
Toate GW active (VRRP Master/Master/Master) cu filtrare MAC VRRP între centrele de date
acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit
interface Eth-Trunk1
traffic-filter acl 4000 outbound
Schema de interacțiune a resurselor între centrele de date (VXLAN EVPN și All Active GW)
Complexitatea proiectului
Principala dificultate a fost necesitatea de a face copii de rezervă ale aplicațiilor existente folosind infrastructura de calcul. Clientul avea peste 100 de aplicații diferite, dintre care unele au fost scrise cu aproape 10 ani în urmă. De exemplu, dacă pentru Yandex este posibil să se oprească cu ușurință câteva sute de mașini virtuale fără a dăuna utilizatorilor finali, atunci în Russian Post o astfel de abordare ar necesita dezvoltarea unui număr de aplicații de la zero și schimbări în arhitectura sistemelor informatice ale întreprinderii. Am rezolvat problemele apărute în procesul de migrare și optimizare în etapa unui audit comun al infrastructurii de calcul. Toate tehnologiile de rețea noi pentru întreprindere (cum ar fi EVPN) au fost pre-testate în laborator.
Rezultatele proiectului
Echipa de proiect a inclus specialiști , clientul și partenerii săi în exploatarea infrastructurii de calcul. Au fost formate și echipe de asistență dedicate de la furnizori (Check Point și Huawei). Proiectul a durat doi ani. Iată ce s-a făcut în acest timp.
- A fost elaborată și convenită cu toate departamentele clientului o strategie pentru dezvoltarea unei rețele de centre de date, a unei rețele de transmisie a datelor corporative (CSTN) și a unui inel între centrele de date.
- Disponibilitate crescută a serviciilor. Acest lucru a fost remarcat de afacerile clientului și a dus la o creștere și mai mare a traficului datorită introducerii de noi servicii.
- Peste 40 de reguli au fost migrate și optimizate de la FWSM/ASA la USG 000. Diferite contexte ASA pe UGG 9560 au fost îmbinate într-o singură politică de securitate.
- Debitul porturilor centrelor de date a fost crescut de la 1G la 10/40G prin utilizarea CE12800/CE6850. Acest lucru a făcut posibilă eliminarea supraîncărcărilor de interfață și pierderea de pachete.
- Routerele de clasă Carrier NE40E-X8 au acoperit pe deplin nevoile centrului de date al clientului și ale KSPD, ținând cont de dezvoltarea viitoare a afacerii.
- Au fost solicitate opt noi solicitări de funcții pentru USG 9560. Dintre acestea, șapte au fost deja implementate și sunt incluse în versiunea actuală a VRP. 1 FR este implementat de Huawei R&D. Acesta este un cluster pentru opt șasiuri cu capacitatea de a configura funcționalitatea necesară pentru sincronizarea configurației fără sincronizarea sesiunilor. Necesar dacă întârzierea traficului către unul dintre centrele de date este prea mare (Adler - Moscova 1300 km de-a lungul rutei principale și 2800 km de-a lungul rutei de rezervă).
Proiectul nu are analogi în comparație cu alte companii poștale din Rusia.
Modernizarea infrastructurii rețelei centrelor de date a deschis noi oportunități pentru întreprindere de a dezvolta servicii digitale.
- Furnizarea unui cont personal și a unei aplicații mobile pentru persoane fizice și juridice.
- Integrare cu magazine electronice pentru a oferi servicii de livrare a mărfurilor.
- Îndeplinirea este depozitarea mărfurilor, formarea și livrarea comenzilor din magazinele electronice.
- Extinderea punctelor de emitere a comenzilor, inclusiv prin utilizarea rețelelor de parteneri.
- Flux de documente semnificativ din punct de vedere juridic cu contractanții. Acest lucru va elimina livrarea lentă și costisitoare a documentelor pe hârtie.
- Acceptarea scrisorilor recomandate în formă electronică cu livrare atât în format electronic, cât și pe hârtie (cu tipărire a articolelor cât mai aproape de destinatarul final). Serviciul de scrisori recomandate electronice pe portalul serviciilor publice.
- Platformă pentru furnizarea de servicii de telemedicină.
- Acceptarea simplificată și livrarea simplificată a trimiterilor poștale recomandate folosind o simplă semnătură electronică.
- Digitalizarea rețelei de oficii poștale.
- Prelucrare servicii de autoservire (terminale și mașini de coletat).
- Crearea unei platforme digitale pentru gestionarea serviciului de curierat și a unei noi aplicații mobile pentru clienții serviciului de curierat.
Vino să lucrezi cu noi!
Sursa: www.habr.com