Olen varma, että kaikki Habr-lukijat tilasivat vähintään kerran tavaroita verkkokaupoista ulkomailla ja menivät sitten vastaanottamaan paketteja Venäjän postiin. Voitteko kuvitella tämän tehtävän laajuuden logistiikan organisoinnin kannalta? Kerro ostajien määrä heidän ostojensa määrällä, kuvittele laajan maamme kartta ja siinä - yli 40 tuhatta postitoimistoa ... Muuten, vuonna 2018 Venäjän posti käsitteli 345 miljoonaa kansainvälistä pakettia.
Tässä artikkelissa kerromme, mitä ongelmia Posti kohtasi ja miten LANIT-Integration-tiimi ratkaisi ne luoden uuden IT-infrastruktuurin palvelinkeskuksille.
Yksi Venäjän postin moderneista logistiikkakeskuksista
Ennen projektia
Kiinan, Länsi-Euroopan ja Pohjois-Amerikan ulkomaisten myymälöiden pakettien määrän jyrkän kasvun vuoksi Venäjän postin logistiikkatilojen kuormitus on lisääntynyt. Siksi on rakennettu uuden sukupolven logistiikkakeskuksia, joissa käytetään suuritehoisia lajittelukoneita. Ne tarvitsevat tukea tietokoneinfrastruktuurilta.
Palvelinkeskuksen infrastruktuuri oli vanhentunut, eikä se tarjonnut tarvittavaa suorituskykyä ja luotettavuutta yritysten tietojärjestelmien toiminnassa. Myös Venäjän Postilla ei ollut laskentatehoa uusien palvelujen käynnistämiseksi.
Asiakaspalvelinkeskukset ja niiden ongelmat
Venäjän Postin palvelinkeskukset palvelevat yli 40 000 kohdetta ja 85 aluetoimistoa. Datakeskuksissa toimii kymmeniä ympärivuorokautisia yrityspalveluita, mukaan lukien verkkokauppapalvelut.
Yrityksessä on jo nykyään käytössä järjestelmiä big datan tallentamiseen, analysointiin ja käsittelyyn. Tällaisissa järjestelmissä tekoälyn ja koneoppimisalgoritmien käytöllä on tärkeä rooli. Yksi yrityksen tärkeimmistä tapauksista tähän mennessä on logistiikkavirran hallinnan optimointi ja asiakaspalvelun nopeuttaminen postitoimistoissa.
Ennen päivitysprojektin alkua virtuaalikoneita pää- ja varatietokeskuksissa oli noin 3000, tallennetun tiedon määrä ylitti 2 petatavua. Palvelinkeskuksissa oli monimutkainen liikenteen reititysrakenne, joka liittyi jakamiseen eri segmentteihin suojaustasojen mukaan.
Sovellusten kehittymisen ja uusien palveluiden käyttöönoton myötä datakeskusten verkkolaitteiden nykyinen kaistanleveys on jäänyt riittämättömäksi. Tarvittiin siirtyminen uusien nopeuksien rajapintoihin: 10 Gb / s pääsyn 1 Gb / s sijasta ja 40 Gb / s ydintasolla, laitteiden ja viestintäkanavien täydellä redundanssilla.
Tietoturvaosastolta saatiin vaatimus infrastruktuurin jakamisesta segmentteihin, joissa liikenteen ja sovellusten tietoturva on korkea (PN - Private Network ja DMZ - Demilitarized Zone). Palomuurit (ITU) läpäisivät liikenteen, jota ei tarvinnut suodattaa. Kytkimien VRF:ää ei käytetty tällaiseen liikenteeseen. ITU:n säännöt olivat epäoptimaaliset (kymmeniä tuhansia sääntöjä jokaisessa datakeskuksessa).
Virtuaalikoneiden (VM:iden) saumaton siirto palvelinkeskusten välillä säilyttäen IP-osoitteen ja segmenttien välisen liikenteen optimaalisen polun, mukaan lukien yrityksen tietoverkko (CDTN), ei ollut mahdollista.
MSTP:tä käytettiin redundanssiin, jotkut portit estettiin (hot standby). Ydin- ja pääsykytkimet eivät olleet vikasietoryhmissä, eikä rajapintojen yhdistämistä (LAG) käytetty.
Kolmannen datakeskuksen tultua käyttöön vaadittiin uusi arkkitehtuuri ja laitekonfiguraatio, jotta palvelinkeskusten välinen rengas toimisi (EVPN ehdotettiin).
Konekeskusten kehittämiselle ei ollut yhtä konseptia, joka oli dokumentoitu projektin muodossa ja sovittu asiakkaan kaikkien osastojen kanssa. Nykyinen verkon käyttödokumentaatio oli epätäydellinen ja vanhentunut.
Asiakkaiden odotukset
Projektiryhmällä oli seuraavat tehtävät:
- valmistelee kolmannen konesalikeskuksen verkko- ja palvelininfrastruktuurin rakentamisen arkkitehtuuri ja kehityskonsepti;
- suorittaa asiakkaan olemassa olevan verkon toimintatarkastus;
- laajentaa verkon ydinkapasiteettia yli 1500 10 40/4500 Gb/s Ethernet-portilla jokaisessa datakeskuksessa (yhteensä XNUMX XNUMX porttia);
- varmistaa renkaan toiminta kolmen datakeskuksen välillä ja mahdollisuus nostaa nopeutta jopa 80 Gb / s kussakin segmentissä, jotta voidaan yhdistää asiakkaan laskentaresurssit eri tietokeskuksista yhdeksi IT-järjestelmäksi;
- tarjota 100 % kaksinkertainen reservi kaikista verkkoelementeistä saavuttaaksesi tavoitetason 99,995 %:n käytettävyyden;
- minimoi liikenneviiveet virtuaalikoneiden välillä yrityssovellusten nopeuttamiseksi;
- kerätä tilastoja, analysoida ja optimoida edelleen liikenteen suodatussääntöjä datakeskuksissa (alun perin sääntöjä oli noin 80 000);
- kehittää kohdearkkitehtuuri varmistaakseen asiakkaan kriittisten liiketoimintasovellusten saumattoman siirron mihin tahansa kolmesta datakeskuksesta.
Meillä oli siis tehtävää.
Оборудование
Katsotaanpa tarkemmin, mitä laitteita käytimme projektissa.
Palomuuri (NGWF) USG9560:
- VSYS:n jako;
- jopa 720 Gbps;
- jopa 720 miljoonaa samanaikaista istuntoa;
- 8 paikkaa.
Reititin NE40E-X8:
- jopa 7,08 Tbit/s kytkentäkapasiteetti;
- jopa 2,880 XNUMX Mpps edelleenlähetysteho;
- 8 paikkaa linjakorteille (LPU);
- jopa 10 miljoonaa BGP IPv4 -reittiä MPU:ta kohden;
- jopa 1500 4 OSPF IPvXNUMX -reittiä MPU:ta kohden;
- jopa 3000K - IPv4 FIB (riippuu LPU:sta).
CE12800-sarjan kytkimet:
- Laitteen virtualisointi: VS (1:16 virtualisointi), Cluster Switch System (CSS), Super Virtual Fabric (SVF);
- Verkon virtualisointi: M-LAG, TRILL, VXLAN ja VXLAN siltaus, QinQ VXLANissa, EVN (Ethernet Virtual Network);
- VRP V2:sta alkaen mukana EVPN-tuki;
- M-LAG - vPC:n (virtuaaliporttikanavan) analogi Cisco Nexusille;
- Virtual Spanning Tree Protocol (VSTP) - Yhteensopiva Cisco PVST:n kanssa.
CE12804
CE12808
Программное обеспечение
Projektissa käytimme:
- muiden valmistajien palomuurien määritystiedostojen muuntaminen komentomuotoon uusia laitteita varten;
- omia skriptejämme palomuurin kokoonpanon optimoimiseksi ja muuttamiseksi.
Konfigurointitiedostojen muuntamisen muuntimen ulkonäkö
Tietokeskusten välinen tiedonsiirtojärjestelmä (EVPN VXLAN)
Laitteiden asennuksen vivahteet
CE12808
- EVPN (vakio) EVN:n (Huawein patentoitu) sijaan datakeskusten väliseen viestintään:
○ L2 yli L3 käyttämällä iBGP:tä ohjaustasossa;
○ MAC-koulutus ja tiedotus iBGP EVPN -perheen kautta (MAC-reitit, tyyppi 2);
○ VXLAN-tunneleiden automaattinen rakentaminen yleislähetys- / tuntemattomalle unicast-liikenteelle (sisältää monilähetysreitit, tyyppi 3). - Kaksi jakotilaa VS:ssä:
○ perustuen portteihin (porttimuotoinen portti) tai ASIC:iin (porttitilaryhmä, näyttölaitteen porttikartta);
○ Portin jaetun ulottuvuuden liitäntä 40GE toimii VAIN Admin VS:ssä (porttitilasta riippumatta).
USG9560
- mahdollisuus jakaa VSYS:llä,
- VSYS:n dynaamisen reitityksen ja reitin vuotamisen välillä on mahdotonta!
CE12804
Kaikki Active GW (VRRP Master/Master/Master) MAC VRRP -suodatuksella datakeskusten välillä
acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit
interface Eth-Trunk1
traffic-filter acl 4000 outbound
Resurssien vuorovaikutuskaavio datakeskusten välillä (VXLAN EVPN ja All Active GW)
Projektin monimutkaisuus
Suurin vaikeus oli tarve varmuuskopioida olemassa olevia sovelluksia tietotekniikan avulla. Asiakkaalla oli yli 100 erilaista sovellusta, joista osa on kirjoitettu lähes 10 vuotta sitten. Esimerkiksi, jos Yandex voi helposti sammuttaa useita satoja virtuaalikoneita vahingoittamatta loppukäyttäjiä, niin Venäjän postissa tällainen lähestymistapa edellyttäisi useiden sovellusten kehittämistä tyhjästä ja muutoksia yrityksen tietojärjestelmien arkkitehtuuriin. Ratkaisimme migraatio- ja optimointiprosessissa ilmenevät ongelmat laskentainfrastruktuurin yhteisen auditoinnin vaiheessa. Kaikki yritykselle uudet verkkoteknologiat (kuten EVPN) on esitestattu laboratoriossa.
Hankkeen tulokset
Projektiryhmässä oli asiantuntijoita , asiakas ja hänen kumppaninsa laskentainfrastruktuurin käytössä. Myös toimittajilta (Check Point ja Huawei) muodostettiin omistautuneita tukitiimejä. Projekti kesti kaksi vuotta. Tässä on mitä tänä aikana on tehty.
- Strategia konesaliverkoston, yritystiedonsiirtoverkon (CSTN) ja palvelinkeskusten välisen renkaan kehittämiseksi kehitettiin ja sovittiin asiakkaan kaikkien osastojen kanssa.
- Palvelun saatavuus lisääntynyt. Tämä näkyi asiakkaan liiketoiminnassa ja johti uusien palvelujen käyttöönoton myötä vieläkin suurempaan liikenteen kasvuun.
- Yli 40 000 sääntöä on siirretty ja optimoitu FWSM/ASA:sta USG 9560:een. UGG 9560:n eri ASA-kontekstit on yhdistetty yhdeksi suojauskäytännöksi.
- Palvelinkeskusten porttien suorituskykyä on lisätty 1G:stä 10/40G:een CE12800/CE6850:n avulla. Tämä mahdollisti käyttöliittymän ylikuormituksen ja pakettien katoamisen.
- Carrier-luokan reitittimet NE40E-X8 kattoivat täysin asiakkaan datakeskuksen ja KSPD:n tarpeet tulevan liiketoiminnan kehityksen huomioon ottaen.
- USG 9560:lle on pyydetty kahdeksan uutta ominaisuuspyyntöä. Näistä seitsemän on jo toteutettu ja sisältyvät VRP:n nykyiseen versioon. 1 FR on Huawei R&D:n toteuttamassa. Tämä on kahdeksan kotelon klusteri, jossa on mahdollisuus määrittää tarvittavat toiminnot kokoonpanon synkronoimiseksi ilman istuntojen synkronointia. Vaaditaan, jos liikenneviive johonkin palvelinkeskuksista on liian suuri (Adler - Moskova 1300 km pääreitillä ja 2800 km varareitillä).
Projektilla ei ole analogia verrattuna muihin Venäjän postiyhtiöihin.
Konesaliverkkoinfrastruktuurin modernisointi on avannut yritykselle uusia mahdollisuuksia digitaalisten palvelujen kehittämiseen.
- Henkilökohtaisen tilin ja mobiilisovelluksen tarjoaminen yksityishenkilöille ja juridisille henkilöille.
- Integrointi sähköisten liikkeiden kanssa tavaroiden toimituspalveluiden tarjoamiseksi.
- Toteutus on tavaroiden varastointia, tilausten muodostamista ja toimittamista sähköisistä kaupoista.
- Tilauspisteiden laajentaminen, myös kumppaniverkostojen avulla.
- Juridisesti merkittävä asiakirjavirta urakoitsijoiden kanssa. Tämä eliminoi paperiasiakirjojen hitaan ja kalliin toimituksen.
- Kirjattujen kirjeiden vastaanotto sähköisessä muodossa toimittaen sekä sähköisessä että paperimuodossa (lähetysten tulostus mahdollisimman lähellä lopullista vastaanottajaa). Sähköisten kirjattujen kirjeiden palvelu julkisten palvelujen portaalissa.
- Alusta telelääketieteen palvelujen tarjoamiseksi.
- Kirjattujen postilähetysten yksinkertaistettu vastaanottaminen ja jakelu yksinkertaisella sähköisellä allekirjoituksella.
- Postiverkoston digitalisointi.
- Itsepalvelupalvelujen (terminaalit ja pakettiautomaatit) käsittely.
- Digitaalisen alustan luominen kuriiripalvelun hallintaan ja uuden mobiilisovelluksen luominen kuriiripalvelun asiakkaille.
Tule meille töihin!
Lähde: will.com