モスクワオフィスでファーウェイの新しいネットワークをどのように設計して実装したか、パート 1

今日は、当社に新しい社内ネットワークを構築するというアイデアがどのように生まれ、実行されたかについてお話します。経営陣の立場は、クライアントと同じ本格的なプロジェクトを自分自身でも行う必要があるということです。私たち自身がうまくやれば、顧客を招待し、私たちが提供するものがどれほどうまく機能し、うまくいくかを示すことができます。したがって、部門のニーズの分析→技術ソリューションの選択→設計→実装→テストという完全な生産サイクルを使用して、モスクワ オフィスの新しいネットワークのコンセプトの開発に徹底的に取り組みました。それでは始めましょう。

技術的解決策の選択: Mutant Sanctuary

複雑な自動化システムの作業手順は、現在、GOST 34.601-90「自動化システム」に最もよく説明されています。創造の段階』に基づいて作業を進めました。そして、要件形成とコンセプト開発の段階ですでに最初の困難に直面しました。銀行、保険会社、ソフトウェア開発者など、さまざまなプロファイルの組織は、そのタスクと標準のために、詳細が明確で標準化された特定の種類のネットワークを必要とします。しかし、これではうまくいきません。

なぜですか？

Jet Infosystems は、多角的な大規模な IT 企業です。同時に、当社の社内サポート部門は小規模ですが (誇りを持っています)、基本的なサービスとシステムの機能を保証しています。同社には、さまざまな機能を実行する多くの部門が含まれています。これらは、いくつかの強力なアウトソーシング チーム、ビジネス システムの社内開発者、情報セキュリティ、およびコンピューティング システムのアーキテクトであり、一般に、それが誰であるかは関係ありません。したがって、業務、システム、セキュリティポリシーも異なります。予想通り、これによりニーズ分析と標準化のプロセスに困難が生じました。

たとえば、ここに開発部門があります。その従業員は、多数の顧客向けにコードを作成し、テストします。多くの場合、テスト環境を迅速に整備する必要がありますが、率直に言って、すべての社内規定に従ってプロジェクトごとに要件を策定し、リソースを要求し、個別のテスト環境を構築することが常に可能であるとは限りません。これにより、奇妙な状況が生じます。ある日、謙虚な使用人が開発者の部屋を覗いてみると、テーブルの下に、正常に動作している 20 台のデスクトップからなる Hadoop クラスタがあり、それが不可解にも共通のネットワークに接続されているのを発見しました。会社の IT 部門がその存在を知らなかったことを明らかにする価値はないと思います。他の多くの状況と同様、この状況が原因で、プロジェクトの開発中に、長年にわたって苦しんでいたオフィス インフラストラクチャの状態を表す「ミュータント リザーブ」という用語が生まれました。

または、別の例を次に示します。部門内に定期的にテストベンチが設置されます。これは、ソフトウェア開発センターによって一部のプロジェクトで限定的に使用された Jira と Confluence の場合に当てはまります。しばらくして、他の部門がこれらの有用なリソースについて学び、評価し、2018 年末には、Jira と Confluence は「ローカル プログラマーのおもちゃ」のステータスから「企業リソース」のステータスに移行しました。ここで、これらのシステムに所有者を割り当てる必要があり、SLA、アクセス/情報セキュリティ ポリシー、バックアップ ポリシー、監視、問題を解決するためのリクエストをルーティングするルールを定義する必要があります。一般に、本格的な情報システムのすべての属性が存在する必要があります。 。
私たちの各部門は、独自の製品を成長させるインキュベーターでもあります。それらの中には、開発段階で消滅するものもあれば、プロジェクトの作業中に使用するものもあれば、根付いて複製ソリューションとなり、私たち自身が使用し始めたり、クライアントに販売したりするものもあります。このようなシステムごとに、他のシステムに干渉することなく開発され、ある時点で企業のインフラストラクチャに統合できる独自のネットワーク環境を用意することが望ましいです。

開発に加えて、私たちは非常に大規模な サービスセンター 従業員は 500 名を超え、顧客ごとにチームを編成します。彼らは、ネットワークやその他のシステムの保守、リモート監視、クレームの解決などに携わっています。つまり、SC のインフラストラクチャは、実際には、現在提携している顧客のインフラストラクチャでもあります。ネットワークのこのセクションでの作業の特徴は、当社のワークステーションの一部が外部にあり、一部が内部にあることです。したがって、SC に対しては、次のアプローチを実装しました。会社は、これらの部門のワークステーションを (支店やリモート ユーザーと同様に) 外部接続とみなして、対応する部門にネットワークとその他のリソースを提供します。

高速道路の設計：私たちが運営者です（驚）

すべての落とし穴を評価した後、私たちは 1 つのオフィス内に電気通信事業者のネットワークを導入していることに気づき、それに応じて行動を開始しました。

当社は、内部および将来的には外部の消費者に必要なサービス (L2 VPN、L3 VPN、または通常の L3 ルーティング) を提供するコア ネットワークを作成しました。安全なインターネット アクセスを必要とする部門もあれば、ファイアウォールを使用せずにクリーンなアクセスを必要とする部門もありますが、同時に企業リソースとコア ネットワークをトラフィックから保護する必要があります。

各部門と非公式に「SLAを締結」しました。これに従って、発生したすべての事件は、事前に合意された一定の期間内に排除されなければなりません。同社のネットワークに対する要件は厳しいことが判明しました。電話や電子メールに障害が発生した場合のインシデントへの最大応答時間は 5 分でした。一般的な障害時にネットワーク機能を復元する時間は XNUMX 分以内です。

当社にはキャリアグレードのネットワークがあるため、ルールに厳密に従っている場合にのみ接続できます。サービスユニットはポリシーを設定し、サービスを提供します。特定のサーバー、仮想マシン、ワークステーションの接続に関する情報も必要ありません。しかし同時に、単一の接続によってネットワークが無効になってはいけないため、保護メカニズムも必要です。誤ってループが発生した場合、他のユーザがそれに気付かないように、ネットワークからの適切な対応が必要です。どの通信事業者も、コア ネットワーク内で同様の一見複雑に見える問題を常に解決しています。さまざまなニーズやトラフィックを持つ多くのクライアントにサービスを提供します。同時に、さまざまな加入者が他の加入者のトラフィックによる不便を経験すべきではありません。
我が家では、この問題を次の方法で解決しました。IS-IS プロトコルを使用して、完全な冗長性を備えたバックボーン L3 ネットワークを構築しました。テクノロジーに基づいてコア上にオーバーレイ ネットワークを構築 EVPN/VXLAN、ルーティングプロトコルを使用 MP-BGP。ルーティング プロトコルの収束を高速化するために、BFD テクノロジーが使用されました。

ネットワーク構造

テストでは、このスキームが優れていることがわかりました。チャネルまたはスイッチが切断されても、コンバージェンス時間は 0.1 ～ 0.2 秒以下で、パケット損失は最小限で (多くの場合、パケット損失はありません)、TCP セッションは切断されず、電話での会話も可能です。中断されません。

アンダーレイ層 - ルーティング

オーバーレイ層 - ルーティング

VXLAN ライセンスを持つ Huawei CE6870 スイッチがディストリビューション スイッチとして使用されました。このデバイスは最適な価格/品質比を備えており、使用するトランシーバーに応じて、10 Gbit/s の速度で加入者に接続し、40 ～ 100 Gbit/s の速度でバックボーンに接続できます。

Huawei CE6870スイッチ

Huawei CE8850スイッチがコアスイッチとして使用されました。目標は、トラフィックを迅速かつ確実に送信することです。ディストリビューション スイッチ以外にはデバイスが接続されておらず、VXLAN について何も知らないため、32 個の 40/100 Gbps ポートを備えたモデルが選択され、L3 ルーティングと IS-IS および MP-BGP のサポートを提供する基本ライセンスが付属しました。プロトコル。

一番下はHuawei CE8850コアスイッチです

設計段階で、コア ネットワーク ノードへのフォールト トレラント接続を実装するために使用できるテクノロジについてチーム内で議論が始まりました。当社のモスクワオフィスは 7 つの建物にあり、6870 つの分配室があり、それぞれに XNUMX 台の Huawei CEXNUMX 分配スイッチが設置されています (いくつかの分配室にはアクセス スイッチのみが設置されています)。ネットワークの概念を開発する際には、次の XNUMX つの冗長性オプションが検討されました。

• 各クロスコネクト ルームのフォールト トレラント スタックにディストリビューション スイッチを統合します。長所: シンプルでセットアップが簡単。短所: ネットワーク デバイスのファームウェアでエラー (「メモリ リーク」など) が発生すると、スタック全体で障害が発生する可能性が高くなります。
• M-LAG およびエニーキャスト ゲートウェイ テクノロジーを適用して、デバイスをディストリビューション スイッチに接続します。

結局、私たちは 2 番目の選択肢に落ち着きました。設定は多少難しくなりますが、実際にそのパフォーマンスと高い信頼性が実証されています。
まず、エンドデバイスをディストリビューション スイッチに接続することを検討してみましょう。

クロス

アクセス スイッチ、サーバー、またはフォールト トレラント接続を必要とするその他のデバイスは、2 つのディストリビューション スイッチに含まれています。 M-LAG テクノロジーは、データ リンク レベルで冗長性を提供します。接続された機器には 2 つのディストリビューション スイッチが 1 つのデバイスとして見えることが想定されます。冗長性と負荷分散は LACP プロトコルを使用して実行されます。

エニーキャスト ゲートウェイ テクノロジーは、ネットワーク レベルで冗長性を提供します。かなり多数の VRF が各ディストリビューション スイッチ上に設定されます（各 VRF は、「通常の」ユーザ用、テレフォニー用、さまざまなテストおよび開発環境用など、独自の目的を目的としています）。 VRF には複数の VLAN が設定されています。私たちのネットワークでは、ディストリビューション スイッチは、そこに接続されているすべてのデバイスのデフォルト ゲートウェイです。 VLAN インターフェイスに対応する IP アドレスは、両方のディストリビューション スイッチで同じです。トラフィックは最も近いスイッチを経由してルーティングされます。

次に、ディストリビューション スイッチをカーネルに接続する方法を見てみましょう。
フォールト トレランスは、IS-IS プロトコルを使用してネットワーク レベルで提供されます。スイッチ間には 3G の速度で別の L100 通信回線が提供されることに注意してください。物理的には、この通信回線はダイレクト アクセス ケーブルであり、Huawei CE6870 スイッチの写真の右側に見られます。

別の方法としては、「正直な」完全接続のダブルスター トポロジを構成することもありますが、前述したように、7 つの建物に 40 つのクロスコネクト ルームがあります。したがって、「ダブルスター」トポロジーを選択した場合は、ちょうど XNUMX 倍の「長距離」XNUMXG トランシーバーが必要となるでしょう。ここでの節約は非常に重要です。

VXLAN とエニーキャスト ゲートウェイ テクノロジーがどのように連携するかについて、少し説明する必要があります。 VXLAN は、詳細は説明しませんが、UDP パケット内でイーサネット フレームを転送するためのトンネルです。ディストリビューション スイッチのループバック インターフェイスは、VXLAN トンネルの宛先 IP アドレスとして使用されます。各クロスオーバーには同じループバック インターフェイス アドレスを持つ 2 つのスイッチがあるため、パケットはいずれのスイッ​​チにも到着し、そこからイーサネット フレームを抽出できます。

スイッチが取得したフレームの宛先 MAC アドレスを知っている場合、フレームは宛先に正しく配信されます。同じクロスコネクトに設置されている両方のディストリビューション スイッチが、アクセス スイッチから「受信」するすべての MAC アドレスに関する最新の情報を確実に保持できるようにするために、M-LAG メカニズムは MAC アドレス テーブル（および ARP）を同期する役割を果たします。テーブル) 両方のスイッチの M-LAG ペア。

トラフィック バランシングは、ディストリビューション スイッチのループバック インターフェイスへの複数のルートがアンダーレイ ネットワークに存在することによって実現されます。

代わりに、結論の

前述したように、テストと運用中に、ネットワークは高い信頼性 (通常の障害の回復時間は数百ミリ秒以下) と良好なパフォーマンスを示しました。各クロスコネクトは 40 つの 10 Gbit/s チャネルによってコアに接続されています。当社のネットワーク内のアクセス スイッチはスタックされており、5 つの 48 Gbit/s チャネルを持つ LACP/M-LAG 経由でディストリビューション スイッチに接続されています。通常、スタックにはそれぞれ 10 ポートを持つ 30 つのスイッチが含まれており、最大 XNUMX のアクセス スタックが各クロスコネクトのディストリビューションに接続されます。したがって、バックボーンは理論上の最大負荷でもユーザーあたり約 XNUMX Mbit/s を提供します。これは、この記事の執筆時点では、すべての実際のアプリケーションには十分です。

このネットワークを使用すると、L2 と L3 の両方を介して任意の接続デバイスのペアリングをシームレスに整理でき、トラフィック (情報セキュリティ サービスが好む) と障害ドメイン (運用チームが好む) を完全に分離できます。

次のパートでは、新しいネットワークにどのように移行したかについて説明します。乞うご期待！

マキシム・クロチコフ
シニア コンサルタント、ネットワーク監査および複雑なプロジェクト グループ
ネットワークソリューションセンター
「ジェットインフォシステムズ」

出所： habr.com