Ik weet zeker dat alle Habr-lezers minstens één keer goederen bestelden in online winkels in het buitenland en vervolgens pakketten gingen ontvangen op het Russische postkantoor. Kunt u zich voorstellen hoe groot deze taak is qua logistiek organiseren? Vermenigvuldig het aantal kopers met het aantal aankopen, stel je een kaart van ons uitgestrekte land voor, en daarop - meer dan 40 duizend postkantoren ... Trouwens, in 2018 verwerkte Russian Post 345 miljoen internationale pakketten.
In dit artikel zullen we u vertellen met welke problemen de Post te maken had en hoe het LANIT-Integration-team deze heeft opgelost door een nieuwe IT-infrastructuur voor datacenters te creëren.
Een van de moderne logistieke centra van Russian Post
Vóór het project
Door een sterke toename van het aantal pakketten uit buitenlandse winkels in China, West-Europa en Noord-Amerika is de belasting van de logistieke faciliteiten van de Russische Post toegenomen. Daarom is er een nieuwe generatie logistieke centra gebouwd, die gebruik maken van sorteermachines met hoge capaciteit. Ze hebben ondersteuning nodig van de computerinfrastructuur.
De infrastructuur van het datacenter was verouderd en bood niet de vereiste prestaties en betrouwbaarheid voor de werking van bedrijfsinformatiesystemen. Ook had Russian Post een gebrek aan rekenkracht om nieuwe diensten te lanceren.
Datacenters van klanten en hun problemen
De datacenters van Russian Post bedienen meer dan 40 objecten, 000 territoriale kantoren. Tientallen 85-uurs zakelijke diensten zijn actief in datacenters, waaronder e-commercediensten.
Nu al gebruikt de onderneming systemen voor het opslaan, analyseren en verwerken van big data. Bij dergelijke systemen speelt het gebruik van kunstmatige intelligentie en machine learning-algoritmen een belangrijke rol. Tot op heden is een van de belangrijkste zaken voor de onderneming de optimalisatie van het logistieke stroombeheer en de versnelling van de klantenservice in de postkantoren.
Voorafgaand aan de start van het upgradeproject waren er ongeveer 3000 virtuele machines in de hoofd- en back-updatacenters, de hoeveelheid opgeslagen informatie bedroeg meer dan 2 petabytes. Datacenters hadden een complexe verkeersrouteringsstructuur die verband hield met de indeling in verschillende segmenten op basis van beveiligingsniveaus.
Met de ontwikkeling van applicaties en de introductie van nieuwe diensten is de bestaande bandbreedte van netwerkapparatuur in datacenters onvoldoende geworden. Een overgang naar interfaces met nieuwe snelheden was nodig: 10 Gb/s, in plaats van 1 Gb/s voor toegang en 40 Gb/s op core-niveau, met volledige redundantie van apparatuur en communicatiekanalen.
Vanuit de afdeling informatiebeveiliging is de eis binnengekomen om de infrastructuur op te delen in segmenten met een hoog niveau van informatiebeveiliging van verkeer en applicaties (PN - Private Network en DMZ - Demilitarized Zone). Firewalls (ITU) lieten verkeer door dat niet gefilterd hoefde te worden. VRF werd niet gebruikt op de wissels voor dergelijk verkeer. De regels bij de ITU waren suboptimaal (tienduizenden regels in elk datacenter).
Naadloze migratie van virtuele machines (VM's) tussen datacenters met behoud van het IP-adres en het optimale pad voor verkeer tussen segmenten, inclusief het bedrijfsdatanetwerk (CDTN), was niet mogelijk.
MSTP werd gebruikt voor redundantie, sommige poorten waren geblokkeerd (hot standby). De kern- en toegangsswitches waren niet geclusterd met failover en er werd geen interface-aggregatie (LAG) gebruikt.
Met de komst van het derde datacenter was een nieuwe architectuur en apparatuurconfiguratie nodig om de ring tussen datacenters te laten functioneren (EVPN werd voorgesteld).
Er was niet één concept voor de ontwikkeling van datacenters, gedocumenteerd in de vorm van een project en afgestemd met alle afdelingen van de klant. De huidige documentatie over de werking van het netwerk was onvolledig en verouderd.
Verwachtingen van de klant
Het projectteam had de volgende taken:
- de architectuur en het ontwikkelingsconcept voorbereiden voor het bouwen van de netwerk- en serverinfrastructuur van het derde datacenter;
- een operationele audit uitvoeren van het bestaande netwerk van de klant;
- uitbreiding van de netwerkkerncapaciteit met meer dan 1500 10/40 Gb/s Ethernet-poorten in elk datacenter (4500 poorten in totaal);
- zorgen voor de werking van de ring tussen drie datacenters met de mogelijkheid om de snelheid te verhogen tot 80 Gb / s in elk van de segmenten om de computerbronnen van de klant uit verschillende datacenters te combineren in één IT-systeem;
- 100% dubbele reserve van alle netwerkelementen bieden om de beoogde uptime op het niveau van 99,995% te bereiken;
- verkeersvertragingen tussen virtuele machines minimaliseren om zakelijke toepassingen te versnellen;
- statistieken verzamelen, analyseren en verder optimaliseren van verkeersfilterregels in datacenters (oorspronkelijk waren er ongeveer 80 regels);
- een doelarchitectuur ontwikkelen om te zorgen voor een naadloze migratie van de kritieke bedrijfsapplicaties van de klant naar een van de drie datacenters.
We hadden dus iets om aan te werken.
Uitrusting
Laten we eens nader bekijken welke apparatuur we in het project hebben gebruikt.
Firewall (NGWF) USG9560:
- deling door VSYS;
- tot 720 Gbps;
- tot 720 miljoen gelijktijdige sessies;
- 8 sleuven.
Router NE40E-X8:
- tot 7,08 Tbit/s schakelcapaciteit;
- tot 2,880 Mpps doorstuurprestaties;
- 8 slots voor lijnkaarten (LPU);
- tot 10 miljoen BGP IPv4-routes per MPU;
- tot 1500 OSPF IPv4-routes per MPU;
- tot 3000K - IPv4 FIB (afhankelijk van LPU).
Schakelaars uit de CE12800-serie:
- Apparaatvirtualisatie: VS (1:16 virtualisatie), Cluster Switch System (CSS), Super Virtual Fabric (SVF);
- Netwerkvirtualisatie: M-LAG, TRILL, VXLAN- en VXLAN-bridging, QinQ in VXLAN, EVN (Ethernet Virtual Network);
- vanaf VRP V2 is EVPN-ondersteuning inbegrepen;
- M-LAG - analoog van vPC (virtual Port Channel) voor Cisco Nexus;
- Virtual Spanning Tree Protocol (VSTP) - Compatibel met Cisco PVST.
CE12804
CE12808
Software
In het project hebben we gebruikt:
- converteren van configuratiebestanden voor firewalls van andere leveranciers naar opdrachtformaat voor nieuwe apparatuur;
- scripts van ons eigen ontwerp om de configuratie van firewalls te optimaliseren en te transformeren.
Uiterlijk van de converter voor het converteren van configuratiebestanden
Communicatieschema tussen datacenters (EVPN VXLAN)
De nuances van het opzetten van apparatuur
CE12808
- EVPN (standaard) in plaats van EVN (eigendom van Huawei) voor communicatie tussen datacenters:
○ L2 over L3 met iBGP in besturingsvlak;
○ MAC-training en aankondiging via iBGP EVPN-familie (MAC-routes, type 2);
○ automatische aanleg van VXLAN-tunnels voor broadcast / onbekend unicast-verkeer (Inclusief Multicast Routes, type 3). - Twee divisiemodi op VS:
○ gebaseerd op poorten (port-mode port) of op basis van ASIC (port-mode group, display device port-map);
○ Port Split Dimension Interface 40GE werkt ALLEEN in Admin VS (ongeacht de poortmodus).
USG9560
- mogelijkheid om te delen door VSYS,
- tussen VSYS dynamische routing en routelekken is onmogelijk!
CE12804
All Active GW (VRRP Master/Master/Master) met MAC VRRP-filtering tussen datacenters
acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit
interface Eth-Trunk1
traffic-filter acl 4000 outbound
Schema van interactie van bronnen tussen datacenters (VXLAN EVPN en All Active GW)
Complexiteit van projecten
De grootste moeilijkheid was de noodzaak om een back-up te maken van bestaande applicaties met behulp van een computerinfrastructuur. De klant had meer dan 100 verschillende applicaties, waarvan sommige bijna 10 jaar geleden zijn geschreven. Als Yandex bijvoorbeeld gemakkelijk enkele honderden virtuele machines kan afsluiten zonder eindgebruikers te schaden, dan zou een dergelijke aanpak bij Russian Post de ontwikkeling van een aantal applicaties vanaf het begin en veranderingen in de architectuur van bedrijfsinformatiesystemen vereisen. De problemen die zich voordeden tijdens het migratie- en optimalisatieproces hebben we opgelost in de fase van een gezamenlijke audit van de computerinfrastructuur. Alle netwerktechnologieën die nieuw zijn voor de onderneming (zoals EVPN) zijn vooraf getest in het laboratorium.
Projectresultaten
In het projectteam zaten specialisten , de klant en zijn partners in de exploitatie van de computerinfrastructuur. Er werden ook speciale ondersteuningsteams van leveranciers (Check Point en Huawei) gevormd. Het project duurde twee jaar. Dit is wat er in deze tijd is gedaan.
- Een strategie voor de ontwikkeling van een netwerk van datacenters, een corporate datatransmissienetwerk (CSTN) en een ring tussen datacenters werd ontwikkeld en overeengekomen met alle afdelingen van de klant.
- Verhoogde beschikbaarheid van diensten. Dit werd opgemerkt door de business van de klant en leidde tot een nog grotere toename van het verkeer door de introductie van nieuwe diensten.
- Meer dan 40 regels zijn gemigreerd en geoptimaliseerd van FWSM/ASA naar USG 000. Verschillende ASA-contexten op UGG 9560 zijn samengevoegd tot één beveiligingsbeleid.
- De doorvoer van datacenterpoorten is verhoogd van 1G naar 10/40G door het gebruik van CE12800/CE6850. Dit maakte het mogelijk om overbelasting van de interface en het verlies van pakketten te elimineren.
- Carrier-klasse routers NE40E-X8 voldeden volledig aan de behoeften van het datacenter van de klant en KSPD, rekening houdend met toekomstige bedrijfsontwikkeling.
- Voor USG 9560 zijn acht nieuwe Feature Requests aangevraagd. Hiervan zijn er al zeven geïmplementeerd en opgenomen in de huidige versie van VRP. 1 FR wordt geïmplementeerd door Huawei R&D. Dit is een cluster voor acht chassis met de mogelijkheid om de benodigde functionaliteit te configureren om de configuratie te synchroniseren zonder sessies te synchroniseren. Vereist als de verkeersvertraging naar een van de datacenters te groot is (Adler - Moskou 1300 km langs de hoofdroute en 2800 km langs de back-uproute).
Het project heeft geen analogen in vergelijking met andere postbedrijven in Rusland.
De modernisering van de netwerkinfrastructuur van het datacenter heeft nieuwe mogelijkheden voor de onderneming geopend om digitale diensten te ontwikkelen.
- Het verstrekken van een persoonlijk account en een mobiele applicatie voor particulieren en rechtspersonen.
- Integratie met elektronische winkels om goederenbezorgdiensten aan te bieden.
- Fulfilment is de opslag van goederen, het opstellen en afleveren van bestellingen van elektronische winkels.
- Uitbreiding van uitgiftepunten van orders, onder meer door gebruik te maken van partnernetwerken.
- Juridisch relevante documentstroom met aannemers. Dit voorkomt de langzame en kostbare levering van papieren documenten.
- Aanvaarding van aangetekende brieven in elektronische vorm met bezorging zowel in elektronische als in papieren vorm (met afdrukken van zendingen zo dicht mogelijk bij de uiteindelijke ontvanger). Betekening van elektronische aangetekende brieven op het portaal van openbare diensten.
- Platform voor het aanbieden van telegeneeskundediensten.
- Vereenvoudigde acceptatie en vereenvoudigde bezorging van aangetekende postzendingen met een eenvoudige elektronische handtekening.
- Digitalisering van het postkantorennetwerk.
- Verwerking van zelfbedieningsdiensten (terminals en pakketautomaten).
- Creatie van een digitaal platform voor het beheer van de koeriersdienst en een nieuwe mobiele applicatie voor koeriersklanten.
Kom bij ons werken!
Bron: www.habr.com