🥇ロシア郵便データセンターの新しい IT インフラストラクチャ

Habr読者の皆さんは、少なくとも一度は海外のオンラインストアで商品を注文し、ロシアの郵便局で小包を受け取りに行ったことがあると思います。物流を組織するという観点から、この仕事の規模を想像できますか? 購入者の数に購入数を掛けて、私たちの広大な国の地図を想像してください、そしてその上に40万以上の郵便局があります... ちなみに、2018年にロシア郵便は345億XNUMX万個の国際小包を処理しました。

この記事では、Pochta が直面した問題と、LANIT 統合チームがそれらをどのように解決し、データセンター用の新しい IT インフラストラクチャを構築したかについて説明します。

ロシア郵便の近代的な物流センターの XNUMX つ

プロジェクトの前に

中国、西ヨーロッパ、北米の海外店舗からの小包数の急増により、ロシア郵便の物流施設の負荷が増加しています。そこで、高性能仕分け機を導入した新世代の物流センターが建設されました。コンピューティングインフラストラクチャからのサポートが必要です。

データセンターのインフラストラクチャは時代遅れであり、企業情報システムの運用に必要なパフォーマンスと信頼性を提供していませんでした。また、ロシア郵便は、新しいサービスを開始するためのコンピューティング能力の不足にも直面しました。

顧客のデータセンターとその問題

ロシア郵便のデータセンターは、40 以上の施設と 000 の領土部門にサービスを提供しています。データセンターは、電子商取引サービスを含む多数のビジネスサービスを 85 時間年中無休で運用しています。

現在、企業はビッグデータの保存、分析、処理にシステムを使用しています。このようなシステムでは、人工知能と機械学習アルゴリズムの使用が重要な役割を果たします。今日、企業にとって最も重要なケースの XNUMX つは、物流フローの管理を最適化し、郵便局での顧客サービスを高速化することです。

モダナイゼーションプロジェクトが開始される前は、メインデータセンターとバックアップデータセンターに約 3000 台の仮想マシンがあり、保存されている情報の量は 2 ペタバイトを超えていました。データセンターは、セキュリティレベルに応じてさまざまなセグメントに分割される複雑なトラフィックルーティング構造を持っていました。

アプリケーションの開発や新しいサービスの導入に伴い、データセンター内のネットワーク機器の既存の帯域幅が不足してきました。新しい速度のインターフェイスへの移行が必要でした。アクセス時は 10 Gbit/s ではなく 1 Gbit/s、コアレベルでは 40 Gbit/s となり、機器と通信チャネルが完全に冗長化されます。

情報セキュリティ部門は、トラフィックとアプリケーションの情報セキュリティのレベルが高いセグメント (PN - プライベートネットワークと DMZ - 非武装地帯) にインフラストラクチャを分割するという要件を受けました。フィルタリングする必要のないファイアウォール (FWU) を通過したトラフィック。スイッチ上の VRF はこのトラフィックには使用されませんでした。ファイアウォールのルールは最適ではありませんでした (各データセンターに数万のルール)。

IP アドレスと、企業データネットワーク (CDN) を含むセグメント間のトラフィックの最適なパスを維持しながら、データセンター間で仮想マシン (VM) をシームレスに移行することは不可能でした。

MSTP はバックアップに使用され、一部のポートがブロックされました (ホットスタンバイ)。コアスイッチとアクセススイッチはフェールオーバークラスターに結合されず、インターフェイスアグリゲーション (LAG) も使用されませんでした。

XNUMX 番目のデータセンターの出現により、データセンター間でリングを運用するには新しいアーキテクチャと機器構成が必要になりました (EVPN が提案されました)。

データセンターの開発には、プロジェクトの形で文書化され、顧客のすべての部門と合意された統一コンセプトはありませんでした。現在のネットワーク運用ドキュメントは不完全であり、古いものでした。

顧客の期待

プロジェクトチームは次の課題に直面しました。

XNUMX番目のデータセンターのネットワークとサーバーインフラストラクチャを構築するためのアーキテクチャと開発コンセプトを準備します。
顧客の既存のネットワークの運用監査を実施します。
各データセンターの 1500 個を超える 10/40 ギガビット/秒イーサネットポート (合計 4500 個のポート) により、ネットワークコア容量を拡張します。
異なるデータセンターからの顧客のコンピューティングリソースを単一の IT システムに統合するために、各セグメントで最大 80 Gbit/s まで速度を向上させる機能を備えた XNUMX つのデータセンター間のリングの運用を保証します。
100% のレベルで目標稼働時間を達成するために、すべてのネットワーク要素の 99,995% の二重予約を提供します。
仮想マシン間のトラフィック遅延を最小限に抑えてビジネスアプリケーションを高速化します。
データセンターで統計を収集し、分析を行い、その後のトラフィックフィルタリングルールの最適化を実行します (当初は約 80 のルールがありました)。
ターゲットアーキテクチャを開発して、顧客の重要なビジネスアプリケーションを XNUMX つのデータセンターのいずれかに確実にシームレスに移行します。

そこで私たちには取り組むべきことがあったのです。

機器

このプロジェクトで使用した機材を詳しく見てみましょう。

ファイアウォール (NGWF) USG9560:

VSYSによる除算。
最大 720 Gbps。
最大 720 億 XNUMX 万の同時セッション。
8スロット。

ルーター NE40E-X8:

最大 7,08 Tbit/s のスイッチング容量。
最大 2,880 Mpps の転送パフォーマンス。
ラインカード (LPU) 用の 8 スロット。
MPU あたり最大 10M BGP IPv4 ルート。
MPU あたり最大 1500K OSPF IPv4 ルート。
最大 3000K – IPv4 FIB (LPU に応じて)。

CE12800 シリーズスイッチ:

デバイス仮想化: VS (1:16 仮想化)、クラスタースイッチシステム (CSS)、スーパーバーチャルファブリック (SVF)。
ネットワーク仮想化: M-LAG、TRILL、VXLAN および VXLAN ブリッジング、VXLAN の QinQ、EVN (イーサネット仮想ネットワーク)。
VRP V2 以降、EVPN サポートが含まれています。
M-LAG – Cisco Nexus の vPC (仮想ポートチャネル) の類似品。
仮想スパニングツリープロトコル (VSTP) – Cisco PVST と互換性があります。

CE12804

CE12808

ソフトウェア

プロジェクトでは以下を使用しました。

他のベンダーのファイアウォール設定ファイルを新しい機器用のコマンド形式にコンバーター。
ファイアウォール構成の最適化と変換のための独自のスクリプト。

設定ファイルを変換するコンバータの外観

データセンター間の通信を組織化するスキーム (EVPN VXLAN)

機器のセットアップの微妙な違い

CE12808

データセンター間の通信にはEVN（Huawei独自）ではなくEVPN（標準）を使用します。
○ コントロールプレーンで iBGP を使用する L2 経由の L3。
○ iBGP EVPN ファミリを介した MAC トレーニングとそのアドバタイズメント (MAC ルート、タイプ 2)。
○ ブロードキャスト/未知のユニキャストトラフィック用の VXLAN トンネルの自動構築 (包括的なマルチキャストルート、タイプ 3)。
VS の XNUMX つの分割モード:
○ ポート (ポートモードポート) または ASIC (ポートモードグループ、ディスプレイデバイスポートマップ) に基づく。
○ ポート分割ディメンションインターフェイス 40GE は、(ポートモードに関係なく) Admin VS でのみ機能します。

USG9560

VSYSによる分割の可能性、
VSYS 間では、動的ルーティングとルートリークは不可能です。

CE12804

データセンター間の MAC VRRP フィルタリングを備えたすべてのアクティブ GW (VRRP マスター/マスター/マスター)

acl number 4000 rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00 rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00 rule 15 permit interface Eth-Trunk1 traffic-filter acl 4000 outbound

データセンター間のリソース対話のスキーム (VXLAN EVPN とオールアクティブ GW)

プロジェクトの困難さ

主な問題は、コンピューティングインフラストラクチャを使用して既存のアプリケーションをバックアップする必要があることでした。この顧客は 100 を超える異なるアプリケーションを所有していましたが、その中にはほぼ 10 年前に作成されたアプリケーションもありました。たとえば、Yandex の場合、エンドユーザーに害を及ぼすことなく数百の仮想マシンを簡単にオフにできる場合、ロシアポストではそのようなアプローチには、多数のアプリケーションを最初から開発し、企業情報システムのアーキテクチャを変更する必要があります。私たちは、コンピューティングインフラストラクチャの共同監査の段階で、移行と最適化のプロセス中に発生した問題を解決しました。企業にとって新しいネットワークテクノロジ (EVPN など) はすべて、実験室での予備テストを受けています。

プロジェクトの結果

プロジェクトチームには専門家が含まれていた「LANIT統合」、コンピューティングインフラストラクチャの運用における顧客とそのパートナー。ベンダー (Check Point と Huawei) からの専任サポートチームも結成されました。このプロジェクトには XNUMX 年かかりました。この間に行われたのがこれです。

データセンターのネットワーク、企業データネットワーク (CDTN)、およびデータセンター間のリングの開発戦略が策定され、顧客のすべての部門と合意されました。
サービスの可用性が向上しました。このことが顧客のビジネスで注目され、新しいサービスの導入によりトラフィックがさらに増加しました。
40 を超えるルールが FWSM/ASA から USG 000 に移行および最適化されました。UGG 9560 上のさまざまな ASA コンテキストが 9560 つのセキュリティポリシーに結合されました。
CE1/CE10 の使用により、データセンターポートのスループットが 40G から 12800/6850G に向上しました。これにより、インターフェイスの過負荷とパケットの損失を排除することが可能になりました。
キャリアグレードルータ NE40E-X8 は、将来のビジネス展開を見据え、お客様のデータセンターやデータ転送センターのニーズをフルカバーします。
USG 9560 に対して 1 つの新しい機能リクエストがリクエストされています。そのうち 1300 つはすでに実装されており、VRP の現在のバージョンに含まれています。 2800 FR - Huawei R&D での実装用。これは、セッション同期を行わずに構成の同期に必要な機能を構成できる XNUMX シャーシのクラスターです。いずれかのデータセンターへのトラフィック遅延が大きすぎる場合 (アドラー - モスクワ間の主要ルートに沿って XNUMX km、予備ルートに沿って XNUMX km) に必要です。

このプロジェクトには、ロシアの他の郵便会社と比較して類似点はありません。

データセンターのネットワークインフラストラクチャの最新化により、企業がデジタルサービスを開発する新たな機会が開かれました。

個人および法人向けに個人アカウントとモバイルアプリケーションを提供します。
家電量販店と連携し、商品配送サービスを提供します。
フルフィルメント - 商品の保管、電子ストアからの注文の作成および配送。
アフィリエイトネットワークの利用を含め、注文の受け取りポイントを拡大する。
取引相手との法的に重要な文書の流れ。これにより、時間とコストがかかる紙の文書の送信が不要になります。
電子形式での書留郵便の受領と、電子形式および紙形式の両方での配達（最終受信者にできるだけ近い内容で印刷）。公共サービスポータルでの電子書留サービス。
遠隔医療サービスを提供するプラットフォーム。
簡易電子署名による書留郵便の簡易受信・簡易配信。
郵便局ネットワークのデジタル化。
セルフサービスサービス（ターミナルおよび小包ターミナル）の再設計。
宅配便サービスを管理するためのデジタルプラットフォームと宅配便サービスの顧客向けの新しいモバイルアプリケーションの作成。

私たちと一緒に働きましょう！

出所： habr.com

ロシア郵便データセンターの新しい IT インフラストラクチャ