Biztos vagyok benne, hogy a Habr minden olvasója rendelt már árut külföldi online áruházakból, majd elment egy orosz postára, hogy átvegye a csomagját. El tudja képzelni, mekkora ez a feladat logisztikai szempontból? Szorozza meg az ügyfelek számát a vásárlásaik számával, képzeljen el egy térképet hatalmas országunkról, több mint 40 000 postával... Egyébként 2018-ban az Orosz Posta 345 millió nemzetközi csomagot dolgozott fel.
Ebben a cikkben a Pochta előtt álló kihívásokat tárgyaljuk, és azt, hogy a LANIT integrációs csapata hogyan kezelte ezeket egy új informatikai infrastruktúra létrehozásával az adatközpontok számára.
Az Orosz Posta egyik modern logisztikai központja
A projekt előtt
A kínai, nyugat-európai és észak-amerikai külföldi üzletekből érkező csomagok számának meredek növekedése megnövelte az Orosz Posta logisztikai létesítményeinek terhelését. Ezért új generációs logisztikai központokat építettek, nagy teljesítményű válogatógépekkel. Ezekhez számítástechnikai infrastruktúra támogatása szükséges.
Az adatközpont infrastruktúrája elavult volt, és nem biztosította a szükséges teljesítményt és megbízhatóságot a vállalat információs rendszerei számára. Az Orosz Posta nem rendelkezett a számítási kapacitással sem az új szolgáltatások elindításához.
Ügyfél adatközpontok és azok problémái
Az Orosz Posta adatközpontjai több mint 40 000 létesítményt és 85 területi irodát szolgálnak ki. Ezek az adatközpontok tucatnyi non-stop üzleti szolgáltatást kínálnak, beleértve az e-kereskedelmet is.
A vállalat már használ big data tárolására, elemzésére és feldolgozására szolgáló rendszereket. A mesterséges intelligencia és a gépi tanulási algoritmusok kulcsszerepet játszanak ezekben a rendszerekben. Jelenleg a vállalat legfontosabb felhasználási esetei közé tartozik a logisztikai menedzsment optimalizálása és az ügyfélszolgálat felgyorsítása a postákon.
A modernizációs projekt előtt az elsődleges és a tartalék adatközpontok körülbelül 3000 virtuális gépet tartalmaztak, amelyek több mint 2 petabájtnyi információt tároltak. Az adatközpontok összetett forgalomirányítási struktúrával rendelkeztek, amelyet biztonsági szintek alapján különböző szegmensekre osztottak.
Ahogy az alkalmazások fejlődtek és új szolgáltatások jelentek meg, az adatközpontokban a meglévő hálózati sávszélesség elégtelenné vált. Szükségessé vált az új sebességű interfészekre való átállás: 10 Gbps az 1 Gbps helyett a hozzáféréshez és 40 Gbps a magszinten, a berendezések és a kommunikációs csatornák teljes redundanciájával.
Az információbiztonsági osztály előírta, hogy az infrastruktúrát magas szintű forgalmi és alkalmazásbiztonsággal rendelkező szegmensekre osszák (PN – privát hálózat és DMZ – demilitarizált zóna). A szűrést nem igénylő forgalom tűzfalakon (FW) haladt át. A switcheken lévő VRF-eket nem használták erre a forgalomra. Az FW-k szabályai nem voltak optimálisak (adatközpontonként több tízezer szabály).
A virtuális gépek (VM-ek) zökkenőmentes migrálása az adatközpontok között az IP-címek és az optimális forgalmi útvonalak megőrzése mellett a szegmensek között, beleértve a vállalati adatátviteli hálózatot (CDTN), lehetetlen volt.
Az MSTP-t redundancia céljából használták, néhány port blokkolva (gyors készenlét). A központi és a hozzáférési switchek nem voltak egy feladatátvevő fürtbe egyesítve, és a linkaggregációt (LAG) sem használták.
A harmadik adatközpont megjelenésével új architektúrára és berendezéskonfigurációra volt szükség az adatközpontok közötti gyűrű működtetéséhez (EVPN-t javasoltak).
Nem volt egységes adatközpont-fejlesztési koncepció, amelyet projektként dokumentáltak volna, és amelyben az ügyfél összes részlege egyetértett volna. A jelenlegi hálózatüzemeltetési dokumentáció hiányos és elavult volt.
Ügyfélelvárások
A projektcsapat a következő feladatokkal nézett szembe:
- elkészíti a harmadik adatközpont hálózati és szerverinfrastruktúrájának kiépítésére vonatkozó architektúrát és fejlesztési koncepciót;
- végezzen működési auditot az ügyfél meglévő hálózatán;
- a hálózati magkapacitás bővítése több mint 1500 10/40 Gbps Ethernet porttal adatközpontonként (összesen 4500 port);
- három adatközpont közötti gyűrű működésének biztosítása, amely képes a sebességet szegmensenként akár 80 Gbit/s-ra növelni, hogy az ügyfél különböző adatközpontokból származó számítási erőforrásait egyetlen informatikai rendszerbe lehessen egyesíteni;
- Biztosítsa az összes hálózati elem 100%-os kettős redundanciáját a 99,995%-os célzott üzemidő elérése érdekében;
- minimalizálja a virtuális gépek közötti forgalmi késéseket az üzleti alkalmazások felgyorsítása érdekében;
- statisztikákat gyűjt, elemzéseket végez, és az adatközpontok forgalomszűrési szabályait később optimalizálja (kezdetben körülbelül 80 000 szabály volt);
- Célarchitektúra kidolgozása az ügyfél kritikus üzleti alkalmazásainak zökkenőmentes migrálásának biztosítása érdekében a három adatközpont bármelyikébe.
Szóval volt min dolgoznunk.
Оборудование
Nézzük meg közelebbről, milyen eszközöket használtunk a projekt során.
USG9560 hálózati átjáró tűzfal (NGWF):
- VSYS általi felosztás;
- akár 720 Gbps;
- akár 720 millió egyidejű munkamenet;
- 8 rés.
NE40E-X8 router:
- akár 7,08 Tbit/s kapcsolási kapacitás;
- akár 2,880 Mpps továbbítási teljesítmény;
- 8 foglalat vonalkártyáknak (LPU);
- akár 10 millió BGP IPv4 útvonal MPU-nként;
- akár 1500 ezer OSPF IPv4 útvonal MPU-nként;
- akár 3000K – IPv4 FIB (az LPU-tól függően).
CE12800 sorozatú kapcsolók:
- Eszközvirtualizáció: VS (1:16 virtualizáció), Cluster Switch System (CSS), Super Virtual Fabric (SVF);
- Hálózatvirtualizáció: M-LAG, TRILL, VXLAN és VXLAN áthidalás, QinQ VXLAN-ban, EVN (Ethernet virtuális hálózat);
- A VRP V2-től kezdődően az EVPN támogatás benne van;
- Az M-LAG a Cisco Nexus vPC-jének (virtuális portcsatorna) analógja;
- Virtuális feszítőfa protokoll (VSTP) – kompatibilis a Cisco PVST-vel.
CE12804
CE12808
Szoftver
Ebben a projektben a következőket használtuk:
- más gyártóktól származó tűzfalkonfigurációs fájlok konvertálása parancsformátumba új berendezésekhez;
- Saját fejlesztésű szkriptek a tűzfalkonfigurációk optimalizálásához és módosításához.
A konfigurációs fájlok konvertálására szolgáló konverter megjelenése
Adatközpont kommunikációs szervezeti diagramja (EVPN VXLAN)
A berendezés beállításának árnyalatai
CE12808
- EVPN (standard) az EVN (Huawei saját fejlesztésű) helyett az adatközpontok közötti kommunikációhoz:
○ L2 L3 felett iBGP használatával a vezérlősíkban;
○ MAC-tanulás és azok bejelentése iBGP EVPN családon keresztül (MAC útvonalak, 2-es típus);
○ VXLAN alagutak automatikus létrehozása broadcast/ismeretlen unicast forgalomhoz (Inkluzív Multicast útvonalak, 3-as típus). - Két osztási mód VS-en:
○ port alapú (port módú port) vagy ASIC alapú (port módú csoport, kijelzőeszköz porttérképe);
○ A 40GE portosztott dimenzió interfész CSAK Admin VS-ben működik (a port módtól függetlenül).
9560 USG
- a VSYS-szel való osztás képessége,
- Dinamikus útvonalválasztás és útvonalszivárgás nem lehetséges a VSYS között!
CE12804
Teljesen aktív GW (VRRP Master/Master/Master) MAC VRRP szűréssel az adatközpontok között
acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit
interface Eth-Trunk1
traffic-filter acl 4000 outbound
Adatközpontok közötti erőforrások interakciós diagramja (VXLAN EVPN és All Active GW)
Projekt kihívások
A fő kihívást a meglévő alkalmazások számítógépes infrastruktúra használatával történő biztonsági mentése jelentette. Az ügyfél több mint 100 különböző alkalmazással rendelkezett, amelyek közül néhányat közel 10 évvel ezelőtt írtak. Például, míg a Yandex könnyedén le tudott állítani több száz virtuális gépet a végfelhasználók befolyásolása nélkül, az Orosz Postánál egy ilyen megközelítés több alkalmazás nulláról történő fejlesztését és a vállalat információs rendszereinek újratervezését igényelte volna. A migrációs és optimalizálási folyamat során felmerült problémákat a számítógépes infrastruktúra közös auditja során kezeltük. Minden új hálózati technológiát (például az EVPN-t) előzetes laboratóriumi tesztelésnek vetettünk alá.
Projekt eredményei
A projektcsapatban szakemberek is részt vettek , az ügyfél és partnerei a számítástechnikai infrastruktúra üzemeltetésében. Emellett dedikált támogató csapatokat is létrehoztak a gyártóktól (Check Point és Huawei). A projekt két évig tartott. Íme, mit sikerült elérni ez idő alatt.
- Kidolgoztak egy stratégiát az adatközpont-hálózat, a vállalati adatátviteli hálózat (CDTN) és az adatközpontok közötti gyűrű fejlesztésére, amelyet az ügyfél összes részlegével egyeztettek.
- A szolgáltatások elérhetősége megnőtt. Ezt az ügyfél vállalkozása is észrevette, és az új szolgáltatások bevezetése miatt további forgalomnövekedéshez vezetett.
- Több mint 40 000 szabályt migráltak és optimalizáltak az FWSM/ASA-ról az USG 9560-ra. Az UGG 9560 különböző ASA-kontextusait egyetlen biztonsági szabályzatba egyesítették.
- Az adatközpont portjának átviteli sebességét 1 GB-ról 10/40 GB-ra növelték a CE12800/CE6850 használatával. Ez kiküszöbölte az interfész torlódását és a kapcsolatvesztést.
- Az NE40E-X8 szolgáltatói szintű routerek teljes mértékben lefedték az ügyfél adatközponti és adatközponti igényeit, figyelembe véve a jövőbeli üzletfejlesztést.
- Nyolc új funkciókérelem érkezett az USG 9560-hoz. Ezek közül hetet már megvalósítottak és beépítettek a jelenlegi VRP verzióba. Jelenleg 1 FR implementálása zajlik a Huawei K+F részlegében. Ez egy nyolc házból álló klaszter, amely képes a szükséges konfigurációszinkronizációs funkciót munkamenet-szinkronizáció nélkül konfigurálni. Erre akkor van szükség, ha az egyik adatközpont felé irányuló forgalmi késleltetés túl magas (Adler-Moszkva 1300 km a fő útvonalon és 2800 km a tartalék útvonalon).
A projektnek nincs analógja más oroszországi postai vállalatokhoz képest.
Az adatközpont hálózati infrastruktúrájának modernizálása új lehetőségeket nyitott a vállalat számára a digitális szolgáltatások fejlesztésére.
- Személyes fiók és mobilalkalmazás biztosítása magánszemélyek és jogi személyek számára.
- Integráció e-kereskedelmi oldalakkal a kézbesítési szolgáltatások nyújtása érdekében.
- A teljesítés az áruk tárolását, az online áruházakból leadott megrendelések leadását és kézbesítését jelenti.
- Rendelésfelvételi pontok bővítése, többek között partnerhálózatokon keresztül.
- Jogilag kötelező érvényű dokumentumáramlás a partnerekkel. Ez kiküszöböli a papíralapú dokumentumok lassú és költséges továbbítását.
- Elektronikus úton fogadunk el ajánlott leveleket, amelyeket elektronikusan és papír alapon is kézbesítünk (a bélyegzőket a lehető legközelebb a címzetthez nyomtatva). Az ajánlott elektronikus levelek elérhetők a kormányzati szolgáltatások portálján.
- Telemedicinális szolgáltatások nyújtására szolgáló platform.
- Egyszerűsített elektronikus aláírással egyszerűsített tértivevényes küldemények átvétele és kézbesítése.
- A postahivatal-hálózat digitalizálása.
- Önkiszolgáló terminálok és csomagautomaták újratervezése.
- Digitális platform létrehozása futárszolgálat kezelésére és egy új mobilalkalmazás létrehozása futárszolgálati ügyfelek számára.
Gyere, dolgozz nálunk!
Forrás: will.com
