Ich bin sicher, dass alle Habr-Leser mindestens einmal Waren in Online-Shops im Ausland bestellt haben und dann Pakete bei der russischen Post abgeholt haben. Können Sie sich das Ausmaß dieser Aufgabe im Hinblick auf die Organisation der Logistik vorstellen? Multiplizieren Sie die Anzahl der Käufer mit der Anzahl ihrer Einkäufe, stellen Sie sich eine Karte unseres riesigen Landes vor und darauf - mehr als 40 Postämter ... Im Jahr 2018 verarbeitete die Russische Post übrigens 345 Millionen internationale Pakete.
In diesem Artikel erzählen wir Ihnen, mit welchen Problemen die Post konfrontiert war und wie das LANIT-Integration-Team diese gelöst und eine neue IT-Infrastruktur für Rechenzentren geschaffen hat.
Eines der modernen Logistikzentren der Russischen Post
Vor dem Projekt
Aufgrund eines starken Anstiegs der Anzahl von Paketen aus ausländischen Filialen in China, Westeuropa und Nordamerika ist die Belastung der Logistikanlagen der Russischen Post gestiegen. Daher wurde eine neue Generation von Logistikzentren gebaut, die Sortiermaschinen mit hoher Kapazität nutzen. Sie benötigen Unterstützung durch die Computerinfrastruktur.
Die Infrastruktur des Rechenzentrums war veraltet und bot nicht die erforderliche Leistung und Zuverlässigkeit für den Betrieb von Unternehmensinformationssystemen. Außerdem hatte die Russische Post einen Mangel an Rechenleistung für die Einführung neuer Dienste.
Kundenrechenzentren und ihre Probleme
Die Rechenzentren der Russischen Post bedienen mehr als 40 Objekte und 000 Gebietsbüros. In Rechenzentren werden rund um die Uhr Dutzende Unternehmensdienste betrieben, darunter auch E-Commerce-Dienste.
Bereits heute nutzen Unternehmen Systeme zur Speicherung, Analyse und Verarbeitung großer Datenmengen. Für solche Systeme spielt der Einsatz künstlicher Intelligenz und maschineller Lernalgorithmen eine wichtige Rolle. Einer der wichtigsten Fälle für das Unternehmen ist heute die Optimierung des Logistikflussmanagements und die Beschleunigung des Kundenservices in Postämtern.
Vor Beginn des Upgrade-Projekts gab es in den Haupt- und Backup-Rechenzentren etwa 3000 virtuelle Maschinen, die Menge der gespeicherten Informationen überstieg 2 Petabyte. Rechenzentren verfügten über eine komplexe Verkehrsleitstruktur, die mit der Aufteilung in verschiedene Segmente je nach Sicherheitsstufe verbunden war.
Mit der Entwicklung von Anwendungen und der Einführung neuer Dienste reicht die vorhandene Bandbreite der Netzwerkausrüstung in Rechenzentren nicht mehr aus. Es war ein Übergang zu Schnittstellen mit neuen Geschwindigkeiten erforderlich: 10 Gbit/s statt 1 Gbit/s für den Zugriff und 40 Gbit/s auf der Kernebene, bei vollständiger Redundanz von Geräten und Kommunikationskanälen.
Von der Informationssicherheitsabteilung kam die Anforderung, die Infrastruktur in Segmente mit einem hohen Maß an Informationssicherheit von Verkehr und Anwendungen zu unterteilen (PN – Private Network und DMZ – Demilitarisierte Zone). Firewalls (ITU) leiteten Datenverkehr weiter, der nicht gefiltert werden musste. VRF auf den Switches wurde für diesen Verkehr nicht verwendet. Die Regeln an der ITU waren suboptimal (Zehntausende Regeln in jedem Rechenzentrum).
Eine nahtlose Migration virtueller Maschinen (VMs) zwischen Rechenzentren unter Beibehaltung der IP-Adresse und des optimalen Pfads für den Datenverkehr zwischen Segmenten, einschließlich des Unternehmensdatennetzwerks (CDTN), war nicht möglich.
Aus Redundanzgründen wurde MSTP verwendet, einige Ports waren blockiert (Hot Standby). Die Kern- und Zugriffs-Switches waren nicht in einem Failover-Cluster zusammengefasst und es wurde keine Schnittstellenaggregation (LAG) verwendet.
Mit der Einführung des dritten Rechenzentrums war eine neue Architektur und Gerätekonfiguration erforderlich, um den Ring zwischen Rechenzentren zu betreiben (EVPN wurde vorgeschlagen).
Es gab kein einheitliches Konzept für die Entwicklung von Rechenzentren, das in Form eines Projekts dokumentiert und mit allen Abteilungen des Kunden abgestimmt wurde. Die aktuelle Netzbetriebsdokumentation war unvollständig und veraltet.
Kundenerwartungen
Das Projektteam hatte folgende Aufgaben:
- Vorbereitung des Architektur- und Entwicklungskonzepts für den Aufbau der Netzwerk- und Serverinfrastruktur des dritten Rechenzentrums;
- Durchführung einer Betriebsprüfung des bestehenden Netzwerks des Kunden;
- Erweitern Sie die Netzwerkkernkapazität um mehr als 1500 10/40-Gbit/s-Ethernet-Ports in jedem Rechenzentrum (insgesamt 4500 Ports);
- Gewährleistung des Betriebs eines Rings zwischen drei Rechenzentren mit der Möglichkeit, die Geschwindigkeit in jedem der Segmente auf bis zu 80 Gbit/s zu erhöhen, um die Rechenressourcen des Kunden aus verschiedenen Rechenzentren in einem einzigen IT-System zu vereinen;
- Bereitstellung einer 100 %igen doppelten Reserve aller Netzwerkelemente, um die angestrebte Betriebszeit von 99,995 % zu erreichen;
- Minimieren Sie Verkehrsverzögerungen zwischen virtuellen Maschinen, um Geschäftsanwendungen zu beschleunigen;
- Statistiken sammeln, Verkehrsfilterregeln in Rechenzentren analysieren und weiter optimieren (ursprünglich gab es etwa 80 Regeln);
- Entwickeln Sie eine Zielarchitektur, um eine nahtlose Migration der kritischen Geschäftsanwendungen des Kunden in eines der drei Rechenzentren sicherzustellen.
Wir hatten also etwas, woran wir arbeiten konnten.
Ausrüstung
Schauen wir uns genauer an, welche Ausrüstung wir im Projekt verwendet haben.
Firewall (NGWF) USG9560:
- Aufteilung durch VSYS;
- bis zu 720 Gbit/s;
- bis zu 720 Millionen gleichzeitige Sitzungen;
- 8 Steckplätze.
Router NE40E-X8:
- bis zu 7,08 Tbit/s Switching-Kapazität;
- bis zu 2,880 Mpps Weiterleitungsleistung;
- 8 Steckplätze für Linecards (LPU);
- bis zu 10 Millionen BGP-IPv4-Routen pro MPU;
- bis zu 1500 OSPF-IPv4-Routen pro MPU;
- bis zu 3000K – IPv4 FIB (abhängig von LPU).
Schalter der CE12800-Serie:
- Gerätevirtualisierung: VS (1:16-Virtualisierung), Cluster Switch System (CSS), Super Virtual Fabric (SVF);
- Netzwerkvirtualisierung: M-LAG, TRILL, VXLAN und VXLAN-Bridging, QinQ in VXLAN, EVN (Ethernet Virtual Network);
- Ab VRP V2 ist EVPN-Unterstützung enthalten.
- M-LAG – Analogon von vPC (Virtual Port Channel) für Cisco Nexus;
- Virtual Spanning Tree Protocol (VSTP) – kompatibel mit Cisco PVST.
CE12804
CE12808
Software
Im Projekt verwendeten wir:
- Konverter von Konfigurationsdateien für Firewalls anderer Hersteller in das Befehlsformat für neue Geräte;
- Skripte unseres eigenen Designs zur Optimierung und Umgestaltung der Konfiguration von Firewalls.
Aussehen des Konverters zum Konvertieren von Konfigurationsdateien
Kommunikationsschema zwischen Rechenzentren (EVPN VXLAN)
Die Nuancen beim Einrichten der Ausrüstung
CE12808
- EVPN (Standard) statt EVN (Huawei-proprietär) für die Kommunikation zwischen Rechenzentren:
○ L2 über L3 mit iBGP in der Steuerungsebene;
○ MAC-Training und Ankündigung über die iBGP-EVPN-Familie (MAC-Routen, Typ 2);
○ automatischer Aufbau von VXLAN-Tunneln für Broadcast-/unbekannten Unicast-Verkehr (Inclusive Multicast Routes, Typ 3). - Zwei Divisionsmodi bei VS:
○ basierend auf Ports (Port-Modus-Port) oder basierend auf ASIC (Port-Modus-Gruppe, Anzeigegeräte-Port-Map);
○ Port-Split-Dimension-Schnittstelle 40GE funktioniert NUR in Admin VS (unabhängig vom Port-Modus).
USG9560
- Möglichkeit der Teilung nach VSYS,
- zwischen dynamischem VSYS-Routing und Route-Leaking ist unmöglich!
CE12804
Alle aktiven GW (VRRP Master/Master/Master) mit MAC VRRP-Filterung zwischen Rechenzentren
acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit
interface Eth-Trunk1
traffic-filter acl 4000 outbound
Schema der Interaktion von Ressourcen zwischen Rechenzentren (VXLAN EVPN und All Active GW)
Projektkomplexität
Die Hauptschwierigkeit bestand in der Notwendigkeit, vorhandene Anwendungen mithilfe der Computerinfrastruktur zu sichern. Der Kunde hatte mehr als 100 verschiedene Anwendungen, von denen einige vor fast 10 Jahren geschrieben wurden. Wenn es beispielsweise für Yandex möglich ist, mehrere hundert virtuelle Maschinen problemlos auszuschalten, ohne den Endbenutzern zu schaden, dann würde ein solcher Ansatz in der Russischen Post die Entwicklung einer Reihe von Anwendungen von Grund auf und Änderungen in der Architektur der Unternehmensinformationssysteme erfordern. Die im Migrations- und Optimierungsprozess auftretenden Probleme haben wir im Rahmen einer gemeinsamen Prüfung der Recheninfrastruktur gelöst. Alle für das Unternehmen neuen Netzwerktechnologien (z. B. EVPN) wurden im Labor vorab getestet.
Ergebnisse des Projekts
Das Projektteam bestand aus Spezialisten , der Kunde und seine Partner beim Betrieb der Recheninfrastruktur. Außerdem wurden spezielle Supportteams von Anbietern (Check Point und Huawei) gebildet. Das Projekt dauerte zwei Jahre. Hier ist, was in dieser Zeit getan wurde.
- Eine Strategie für den Aufbau eines Netzwerks von Rechenzentren, eines Unternehmensdatenübertragungsnetzes (CSTN) und eines Ringes zwischen Rechenzentren wurde entwickelt und mit allen Abteilungen des Kunden abgestimmt.
- Erhöhte Serviceverfügbarkeit. Dies wurde vom Kundengeschäft wahrgenommen und führte durch die Einführung neuer Dienste zu einem noch stärkeren Anstieg des Verkehrsaufkommens.
- Mehr als 40 Regeln wurden von FWSM/ASA auf USG 000 migriert und optimiert. Verschiedene ASA-Kontexte auf UGG 9560 wurden in einer einzigen Sicherheitsrichtlinie zusammengeführt.
- Der Durchsatz der Rechenzentrums-Ports wurde durch den Einsatz von CE1/CE10 von 40G auf 12800/6850G erhöht. Dadurch konnten Schnittstellenüberlastungen und Paketverluste vermieden werden.
- Die Router der Carrier-Klasse NE40E-X8 deckten die Anforderungen des Rechenzentrums und des KSPD des Kunden vollständig ab und berücksichtigten dabei die zukünftige Geschäftsentwicklung.
- Für USG 9560 wurden acht neue Feature Requests angefordert. Davon wurden sieben bereits implementiert und sind in der aktuellen Version von VRP enthalten. 1 FR wird von Huawei R&D implementiert. Hierbei handelt es sich um einen Cluster für acht Gehäuse mit der Möglichkeit, die erforderliche Funktionalität zur Synchronisierung der Konfiguration ohne Synchronisierung von Sitzungen zu konfigurieren. Erforderlich, wenn die Verkehrsverzögerung zu einem der Rechenzentren zu hoch ist (Adler - Moskau 1300 km auf der Hauptroute und 2800 km auf der Ersatzroute).
Das Projekt weist im Vergleich zu anderen Postunternehmen in Russland keine Analogien auf.
Die Modernisierung der Netzwerkinfrastruktur des Rechenzentrums hat dem Unternehmen neue Möglichkeiten zur Entwicklung digitaler Dienste eröffnet.
- Bereitstellung eines persönlichen Kontos und einer mobilen Anwendung für natürliche und juristische Personen.
- Integration mit Elektronikgeschäften zur Bereitstellung von Warenlieferdiensten.
- Unter Fulfillment versteht man die Lagerung von Waren, die Erstellung und Lieferung von Bestellungen aus Elektrogeschäften.
- Ausbau der Auftragsausgabestellen, auch unter Nutzung von Partnernetzwerken.
- Rechtsrelevanter Dokumentenfluss mit Auftragnehmern. Dadurch entfällt die langsame und kostspielige Zustellung von Papierdokumenten.
- Annahme von eingeschriebenen Briefen in elektronischer Form mit Zustellung sowohl in elektronischer als auch in Papierform (mit Ausdruck der Sendungen so nah wie möglich am Endempfänger). Zustellung elektronischer Einschreibebriefe auf dem Portal der öffentlichen Dienste.
- Plattform zur Bereitstellung telemedizinischer Dienstleistungen.
- Vereinfachte Annahme und vereinfachte Zustellung von eingeschriebenen Postsendungen durch einfache elektronische Signatur.
- Digitalisierung des Poststellennetzes.
- Abwicklung von SB-Dienstleistungen (Terminals und Paketautomaten).
- Schaffung einer digitalen Plattform zur Verwaltung des Kurierdienstes und einer neuen mobilen Anwendung für Kurierdienstkunden.
Kommen Sie zu uns und arbeiten Sie mit uns!
Source: habr.com