🥇3.エクストリームスイッチでのエンタープライズネットワーク設計

3. Extreme スイッチでのエンタープライズネットワーク設計

こんにちは、皆さん！今日は、エクストリームスイッチエンタープライズネットワーク設計に関する記事。

この記事では、できるだけ簡潔に説明します。

ネットワーク設計へのモジュールアプローチを説明する
企業ネットワークの最も重要なモジュールの1つであるバックボーンネットワーク（IPキャンパス）の構築タイプを検討する
重要なネットワークノードの冗長化オプションの利点と欠点を説明する
抽象的な例を使用して小規模なエンタープライズネットワークを設計/更新する
設計されたネットワークを実装するためにエクストリームスイッチを選択する
ファイバーとIPアドレスを扱う

この記事は、通信事業者や地理的に分散したネットワークを持つ大企業で長年勤務してきた経験豊富なエンジニアよりも、ネットワーク担当者としての道を歩み始めたばかりのネットワークエンジニアやエンタープライズネットワーク管理者にとって興味深いものとなるでしょう。

いずれにせよ、興味のある方はぜひ読んでみてください。

ネットワーク設計へのモジュールアプローチ

私の記事は、ネットワーク設計に対するかなり一般的なモジュール方式から始めます。この方式では、ネットワークのピースからパズルを組み立てて 1 つの完全な絵を作成できます。

まず、少し抽象化します。私はこのアプローチを、地理地図のズームとしてよく想像します。最初の近似では国が表示され、2 番目に地域が表示され、3 番目に都市が表示されます。

例として、次のことを考えてみましょう。

1 次近似 - 企業ネットワーク全体は、さまざまなレベルの集合体です。
- バックボーンネットワークまたはキャンパス
- 境界レベル
- 通信事業者レベル
- 遠隔地
2番目の近似値 - これらの各レベルは個別のモジュールに詳細化されています
- バックボーンネットワークまたはキャンパスは次の要素で構成されます。
  - エンタープライズネットワークとそのレベル（アクセス、ディストリビューション、コア）を記述する3レベルまたは2レベルのモジュール
  - データ処理センター（基本的にはインフラストラクチャのサーバー部分）を記述するモジュール
- 境界レベルは次の要素で構成されます。
  - インターネット接続モジュール
  - 地理的に分散したエンタープライズオブジェクトを接続するWANおよびMANモジュール
  - VPNトンネルとリモートアクセスを構築するためのモジュール
  - 多くの中小企業では、これらのモジュールを複数、あるいは全てを1つに組み合わせて使用していることが多い。
- プロバイダーレベル:
  - このレベルには、「外部への」接続（ダーク光ファイバー（事業者からリースした光ファイバー）、通信チャネル（イーサネット、G.703 など）、インターネットアクセス）が含まれます。
- リモートレベル:
  - ほとんどの場合、これらは都市、地域、国、さらには大陸内に分散している企業の支店です。
  - このゾーンには、メインのデータセンターの作業を複製するバックアップデータセンターも含まれる場合があります。
  - そしてもちろん、最近ではテレワーカー（遠隔地勤務）も人気を集めています。
3 番目の近似 - 各モジュールは、さらに小さなモジュールまたはレベルに分割されます。たとえば、キャンパスネットワークの場合:
- 3 層ネットワークは次のように分かれています。
  - アクセスレベル
  - 配布レベル
  - コアレベル
- より複雑なケースでは、データセンターは次のように分割できます。
  - 2 レベルまたは 3 レベルのネットワーク部分
  - サーバー部分
上記のすべてを次の簡略化された図に示してみます。

上の図からわかるように、モジュール式のアプローチは、全体像を構成要素に詳細化して構造化し、その後で作業できるようにするのに役立ちます。
この記事では、キャンパスエンタープライズレベルに焦点を当てて、より詳細に説明します。
IP-CAMPUSネットワークの種類
私がプロバイダーで働いていたとき、特にその後インテグレーターとして働いていたとき、顧客ネットワークの「成熟度」のさまざまなレベルに遭遇しました。私が「成熟」という言葉を使うのは、何の根拠もなく言っているわけではありません。なぜなら、ネットワーク構造が企業自体の成長とともに成長することはよくあることであり、これは原則として自然なことだからです。
単一の建物内にある小規模企業では、企業ネットワークは、ファイアウォールとして機能する境界ルーター 1 台、複数のアクセススイッチ、および数台のサーバーのみで構成される場合があります。
私自身は、このようなネットワークを「シングルティア」ネットワークと呼んでいます。このネットワークには、明らかなコアネットワークレベルがまったくなく、配布レベルは境界ルーター (ファイアウォール、VPN、場合によってはプロキシ機能付き) に移行され、アクセススイッチが従業員のコンピューターとサーバーの両方にサービスを提供します。

企業の成長（従業員、サービス、サーバーの数の増加）の場合、多くの場合、次のことが必要になります。
- ネットワーク内のスイッチとアクセスポートの数を増やす
- サーバー容量を増やす
- ブロードキャストドメインと戦う - ネットワークのセグメント化とセグメント間のルーティングを実装する
- 従業員のダウンタイムを引き起こすネットワーク障害に対処します。これは、管理側にとって追加の財務コストを伴うためです (従業員はアイドル状態になり、給与は支払われますが、仕事は完了しません)。
- 障害に対処する過程で、ルーター、スイッチ、サーバー、サービスなどの重要なネットワークノードのバックアップを検討してください。
- 商業上のリスクが発生する可能性があるため、セキュリティポリシーを強化し、より安定したネットワーク運用のために
これらすべてにより、エンジニア (ネットワーク管理者) は遅かれ早かれネットワークの正しい構築について考え、2 レベルモデルに到達することになります。
このモデルでは、アクセスレベルと配布レベル (コアレベル (collapsed-core) でもある) の 2 つのレベルがすでに明確に区別されています。
統合された配布層とコア層は、次の機能を実行します。
- アクセススイッチからのリンクを集約する
- ネットワークセグメントルーティングを導入します。ユーザーとデバイスの数が非常に多いため、単一の /24 ネットワークに収まりきらず、収まるとしてもブロードキャストストームによって継続的な障害が発生します (特にユーザーがループを作成してそれを助長する場合)。
- 隣接するスイッチセグメント間の通信を提供します（より高速なリンク経由）
- ユーザーとそのデバイスとサーバーファーム間の通信を提供します。この時点で、サーバーファームも別のネットワークセグメント (データセンター) に割り当てられ始めます。
- アクセススイッチと連携して、この時点で企業内に出現し始めるセキュリティポリシーを、ある程度提供し始めます。会社は成長しており、商業上のリスクも増大しています (ここでは、商業上の秘密に関する規定、アクセスポリシーの記述などだけでなく、基本的なネットワークや従業員のダウンタイムについても言及しています)。
したがって、ネットワークは遅かれ早かれ 2 層モデルに成長します。

このモデルでは、ユーザーとネットワークデバイス (プリンター、アクセスポイント、VoIP デバイス、IP 電話、IP カメラなど) からのリンクを集約するアクセスレベルスイッチと、分散レベルスイッチおよびコアレベルスイッチの両方に特別な要件が導入されています。
アクセススイッチは、ネットワークのパフォーマンス、セキュリティ、柔軟性の要件を満たすために、よりインテリジェントで高機能である必要があり、次の要件を満たす必要があります。
- 異なるタイプのアクセスポートとトランクポートがあり、できればトラフィックの増加やポート数の増加に備えて予約できる機能を備えていること
- 十分なスイッチング容量と帯域幅を持つ
- 現在のセキュリティポリシーを満たす（そして理想的には、さらなる要件の増加にも対応できる）必要なセキュリティ機能を備えている
- 電源（PoE、PoE+）を介して遠隔から再起動する機能を備え、手の届きにくいネットワークデバイスに電力を供給する機能があります。
- 必要な場所で使用できるように独自の電源を確保できる
- （可能であれば）機能性をさらに拡張できる可能性 - アクセススイッチが最終的にディストリビューションスイッチに変わるという一般的な例
同様に、配布スイッチも次の要件を満たす必要があります。
- アクセススイッチへのトランクダウンリンクポートと、隣接するディストリビューションスイッチのピアインターフェイス（および後でコアへのアップリンクインターフェイスも可能）の両方について
- L2とL3の機能部分
- セキュリティ機能の面で
- フォールトトレランス（冗長性、クラスタリング、電源冗長性）の確保の観点から
- 交通バランスの柔軟性を確保するという観点から
- （可能であれば）機能のさらなる拡張の可能性（集約デバイスを時間の経過とともにコアに変換する）がある
- 場合によっては、配布スイッチの PoE、PoE+ ポートを使用するのが適切な場合があります。
さらに、経営陣が企業の積極的な成長と発展の方針を追求すれば、ネットワークも将来的に発展し続けるでしょう。企業は近隣の建物を借りたり、独自の建物を建設したり、小規模な競合企業を吸収したりすることができ、それによって従業員の雇用数を増やすことができます。同時に、ネットワークも拡大しており、次のことが必要になります。
- 従業員にワークステーションを提供する - アクセスポートを備えた新しいアクセススイッチが必要
- アクセススイッチからのリンクを集約するための新しい分散スイッチの提供
- 新規通信回線の建設および既存通信回線の近代化
その結果、次の理由によりトラフィックが増加します。
- アクセスポートの増加とそれに伴うネットワークユーザーの増加により
- 企業ネットワークをトランスポートとして選択する関連サブシステム（電話、セキュリティ、エンジニアリングシステムなど）のトラフィックが増加するためです。
- 追加サービスの導入により、スタッフが増えると、特定のソフトウェアを必要とする新しい部門が出現します。
- データセンターのコンピューティング能力は、インフラストラクチャとアプリケーションの要件を満たすために増加しています。
- ネットワークと情報に対するセキュリティ要件は高まっています。有名な CIA の 3 原則 (ジョーク) ですが、真剣に言えば、CIA は機密性、完全性、可用性です。
  - この点では、重要なネットワークレベル（配電およびデータセンター）では、フォールトトレランスと冗長性に対する追加要件が求められます。
  - また、RKVI などの新しいセキュリティシステムの導入によりトラフィックが増加しています。
遅かれ早かれ、トラフィック、サービス、およびユーザー数の増加により、追加のネットワーク層、つまり高速通信リンクを使用してパケットの高速スイッチング/ルーティングを実行するコアを実装する必要が生じます。
この時点で、企業は 3 層ネットワークモデルに移行できます。

上の図からわかるように、このようなネットワークには、分散スイッチからの高速リンクを集約するコアレベルがあります。したがって、コアスイッチには次の要件もあります。
- インターフェース帯域幅 - 1GE、2.5GE、10GE、40GE、100GE
- スイッチング容量と転送パフォーマンス
- インターフェースタイプ - 1000BASE-T、SFP、SFP+、QSFP、QSFP+
- インターフェースの数とセット
- 冗長オプション (スタッキング、クラスタリング、制御ボードの冗長性 (モジュラースイッチに関連)、電源の冗長性など)
- 機能性
ネットワークのこのレベルでは、技術的な変更が絶対に必要です。
- ノードとコアリンクの冗長性（非常に望ましい）
- 配布レベル接続のノードとリンクの冗長性（重要度に応じて）
- アクセススイッチと配布レベル間の通信リンクの冗長性（必要な場合）
- 動的ルーティングプロトコルの導入
- コアレベルと配布レベルおよびアクセスレベルの両方でのトラフィック分散（必要な場合）
- 追加サービスの実装 - 輸送サービスとセキュリティサービスの両方（必要な場合）
法的な側面だけでなく、企業のネットワークセキュリティポリシーを定義し、次のような点で一般的なセキュリティポリシーを補完します。
- アクセススイッチおよびディストリビューションスイッチにおける特定のセキュリティ機能の実装および構成の要件
- ネットワーク機器へのアクセス、監視、管理の要件 (リモートアクセスプロトコル、管理が許可されるネットワークセグメント、ログ設定など)
- 予約条件
- 必要最小限のスペアパーツキットの形成要件
このセクションでは、数個のスイッチと数十人の従業員から、数十台 (場合によっては数百台) のスイッチと、企業ネットワークで直接作業する数百人 (または数千人) の従業員 (生産部門やエンジニアリングネットワークも存在します) へのネットワークと企業の進化について簡単に説明しました。
現実には、企業のそのような「奇跡的な」急速な発展は起こらないことは明らかです。
通常、ビジネスとネットワークが最初のレベル 1 から私が説明しているレベル 3 に成長するには何年もかかります。
なぜ私はこのような自明のことを書いているのでしょうか?次に、ROI（投資収益率、投資回収率）という用語についてここで触れ、ネットワーク機器の選択に直接関係する側面について考えたいと思います。
機器を選択する際、ネットワークエンジニアとそのマネージャーは、機器の現在の価格と、特定のタスクを解決するために現在必要な最小限の技術的機能という 2 つの要素に基づいて機器を選択することがよくあります (バックアップ用の機器の購入については後で説明します)。
同時に、機器のさらなる「成長」の可能性はほとんど考慮されていません。機器の機能や性能が尽きた状況が発生すると、より強力で機能的な機器が購入され、「そのまま放置する」という原則に従って、古い機器は倉庫またはネットワーク上のどこかに引き渡されます（ちなみに、これは機器の大きな動物園の出現と、それと連携する一連の情報システムの購入の理由でもあります）。
したがって、追加のライセンスを購入する代わりに、機能性とパフォーマンスに優れた新しい機器よりもはるかに安価なため、次の理由により、新しいハードウェアを購入して過剰な支払いをしなければなりません。
- ネットワークはゆっくりと成長し、機能の拡張やネットワークスイッチのパフォーマンスは長期間にわたって十分である可能性があります。
- 海外ベンダーの機器が外貨（ドルまたはユーロ）に連動していることは周知の事実です。正直に言うと、ドルやユーロの成長（あるいは見方によってはルーブルの定期的な小規模な切り下げ）により、ルーブルの観点から見ると、10年前のドルと現在のドルはまったく異なるものとなっている。
上記をまとめると、より幅広い機能を備えたネットワーク機器を今購入しておくと、将来の節約につながる可能性があることを指摘したいと思います。
ここでは、ネットワークとインフラストラクチャへの投資の観点から、機器の購入コストについて検討します。
そのため、多くのベンダー (Extreme だけでなく) は、成長に合わせて支払うという原則に従い、インターフェイスのパフォーマンスを向上させるための一連の機能と機能を機器に組み込み、後で個別のライセンスを購入することでそれらをアクティブ化します。また、幅広いインターフェースとプロセッサカードを備えたモジュラースイッチも提供しており、数量とパフォーマンスの両方を継続的に向上させることができます。
重要なノードの冗長性
この記事のこの部分では、コアスイッチ、データセンター、ディストリビューションなどの重要なネットワークノードの冗長性の基本原則について簡単に説明します。まず、冗長性の一般的な種類であるスタッキングとクラスタリングについて見ていきたいと思います。
それぞれの方法には長所と短所があるので、それについてお話ししたいと思います。
以下は、2 つの方法を比較した一般的な概要表です。
- управление — 表からわかるように、この点ではスタッキングには利点があります。管理の観点からは、複数のスイッチのスタックが多数のポートを持つ 8 つのスイッチのように見えるためです。たとえば、クラスタリングで XNUMX つの異なるスイッチを管理する代わりに、スタッキングで XNUMX つのスイッチのみを管理できます。
- 距離 — 現時点では、厳密に言えば、スタッキングポートまたはデュアルパーパスポートを介してスイッチをスタッキングするテクノロジ (Extreme の SummitStack-V、Cisco の VSS など) が登場しており、トランシーバーの種類にも依存するため、クラスタリングの利点はそれほど明白ではありません。ここでは、スタッキング時に通常のスタッキングポートを使用する必要があるオプションがあり、これらのポートは、多くの場合、長さが制限された (0.5、1、1.5、3、または 5 メートル) 特殊なケーブルで接続されるという原則に基づいて、クラスタリングが優先されます。
- ソフトウェアアップデート ここで、クラスタリングにはスタッキングよりも利点があることがわかります。ポイントは次のとおりです。スタッキング中に機器ソフトウェアのバージョンを更新する場合、マスタースイッチのソフトウェアを更新し、マスタースイッチがスタックのスタンバイメンバースイッチに新しいソフトウェアを配置する役割を担います。これによって作業は容易になりますが、ソフトウェアを更新するには多くの場合、機器のハードウェアを再起動する必要があります。これによりスタック全体が再起動され、その結果、スタックの動作とそれに関連付けられているすべてのサービスが一定時間中断されます = 再起動時間が発生します。これは通常、コアとデータセンターにとって非常に重要です。クラスタリングを使用すると、2 つの独立したデバイスがあり、それらのデバイスでソフトウェアを順番に更新できます。この場合、サービスの中断を回避できます。
- 構成設定 - ここでの利点は、もちろんスタッキングにあります。管理の場合は、1 つのデバイスとその構成ファイルの設定を編集するだけで済むためです。クラスタリングでは、構成ファイルの数はクラスタノードの数と同じになります。
- フォールトトレランス — ここでは両方のテクノロジーはほぼ同等ですが、クラスタリングには依然としてわずかな利点があります。その理由は、実行中のプロセスとプロトコルの観点からスタックを見ると、次のことがわかるからです。
  - すべての主要なプロセスとプロトコルが実行されているマスタースイッチがあります（たとえば、動的ルーティングプロトコル - OSPF）
  - スタック内で動作し、通過するトラフィックを処理するために必要な主要なプロセスを実行する他のスレーブスイッチスイッチがあります。
  - マスタースイッチに障害が発生すると、次に優先度の高いスレーブスイッチがマスタースイッチの障害を検出します。
  - マスターとして起動し、マスター上で実行されていたすべてのプロセス（監視しているOSPFプロトコルを含む）を開始します。
  - プロセス開始からしばらく経つと（通常は非常に短い）、OSPFプロトコル自体が動作を開始します。
  - したがって、クラスタリング中にノードの 1 つに障害が発生した場合、OSPF はスタッキング中よりも少し速く動作します (スタックスレーブスイッチでプロセスとプロトコルを開始および初期化するのに必要な時間)。最新のスタッキングプロトコルとスイッチは非常に高速に動作し、スタックを切り替える際のトラフィック中断の持続時間は 1 秒未満であることが多いことに注意する必要がありますが、それでも名目上、このパラメータではクラスタリングが勝っています。
- 複雑さ — 表からわかるように、複雑さの点ではスタッキングが勝っています。これは、「管理」および「構成設定」項目の直接的な結果です。単一ノードの場合、セットアップと管理にかかる時間が大幅に短縮されます。また、クラスタリングを行う場合、VRRP、HSRP などの追加のルーティングプロトコルやゲートウェイ冗長プロトコルを構成する必要があることがよくあります。
- ユニットの交換 — ここではスタッキングに明らかな利点があります。多くの場合、スタック内のスイッチを交換するには、次のような最小限の必要機器設定を実行する必要があります。
  - 新しいスイッチのソフトウェアをスタックソフトウェアのバージョンに更新します (これは、スペアパーツキット内のスイッチを受け取ったらすぐに実行できます)
  - スタッキングのためのいくつかの基本的なコマンドを設定します（一部のスイッチではこれも必要ない場合もあります）
  - 故障したスタックスイッチを取り外し、新しいものを接続する
  - 電源とパッチコードを接続する
- 弾性 — 私にとってそれは主要なパラメータの 4 つだと考えています。一般的に、弾性とは、荷重の影響を受けて変化し、荷重が消えると元の形状に戻る性質を意味する複雑な特性です。奇妙なことに、クラスタリングの場合、スタッキングに有利な特性のスコア 3:XNUMX を考慮しても、スコアは高くなります。すべては人間的要素によるのです。はい、驚かないでください。統合された制御、設定の構成、簡素化された複雑さなどのスタッキングパラメータの強みは、人間の要素が関係してくるとスタッキングの弱点となる部分です。
ITの仕事で、スタックの設定中にエンジニアがコマンドの入力ミスや機器の機能の有効化/無効化ミスをして、スタック全体がクラッシュして手動での再起動が必要になるという状況に何度も遭遇しました（正直に言うと、特に初期の頃は私自身も同じミスを犯したことがあります）。Puttyアプリのファンについて言及する価値があります。 Windows （ああ、この右クリックコピー機能。）
実際には、どちらのテクノロジも（特に冗長性がない場合と比べて）非常に優れており、それぞれに長所と短所がありますが、コアレベルや負荷の高いデータセンターの場合は、やはりクラスタリングを使用することをお勧めします。
これはあくまでも私の意見ですが。長年にわたりネットワークサポートに専門的に携わってきた多くのプロのエンジニアは、両方のテクノロジを同様に使いこなすことができます。すべては、経験と資格に依存します。
ネットワークノードのスタッキングと冗長性のテクノロジに加えて、ネットワークノード自体の一部とノード間の接続の冗長性の一般原則もあります。
ネットワークノード内の冗長性とは、次のことを意味します。
- 冗長電源 - 互いに重複する 2 つの電源 (できれば 1 番目の電源カテゴリに接続) をインストールすると、作業がはるかに簡単になります。
- 制御ボードの冗長性 - 主に、複数の重複した制御ボードの接続を可能にするモジュラースイッチに関連します。
- インターフェースカードの冗長性 - 主にモジュラースイッチにも適用されます。
接続/リンクの冗長性は、主に、次のような重複したケーブルルート (またはオープンスペースの場合は無線リンク) の存在として理解されます。
- 建物内のさまざまなケーブルシャフトとチャネルを通じて配布されます
- 2つ以上の建物、都市、地域、または国のレベルでの領土上の地理的分布（いわゆるボリュームリング）
この場合、バックアップ通信リンクを構築するときは、機器に関するいくつかの推奨事項に従う必要があります。
- モジュラースイッチのインターフェイスカードが重複している場合、またはスタックが存在する場合は、ユニット間 (モジュラースイッチの場合はインターフェイスカード間、スタックの場合はスイッチ間) にリンクを分散する必要があります。
- リンクをグループにまとめ、それらの間の負荷を分散するには、リンクアグリゲーションプロトコル (LACP、MLT、PAgP など) を使用することをお勧めします。
- ECMP (Equal-Cost-Multi-Path) プロトコルをサポートするルーターを使用します。つまり、1 つのルートに沿って複数のパケットを配信する場合、これらのパケットは 1 つの最適パス (およびインターフェイス) を経由せず、ルーティングプロトコルのメトリックの等価性によって決定される複数の最適パス (および複数のインターフェイス) に分散され、最終的なルーティングテーブルを埋める役割を果たします。
さて、約束どおり、数年前に起こった私の実際の事例と、重要なノードを予約する際の節約の原則について説明します。
- ある会社（ここでは X と呼ぶことにします）には、標準的な 3 層ネットワークモデルがありました。
  - 複数のコアを持つ
  - 数十の集合体
  - 数千のアクセススイッチ
  - 数万人のユーザーによって
- ネットワークは非常に複雑に構築されました。
  - OSPF、MP-BGP、MPLS、PIM、IGMP、IPv6 などの多数の動的ルーティングプロトコルとプロトコルを備えています。
  - インターネットアクセス、L2 および L3 VPN、VoIP、IPTV、専用回線など、さまざまなサービス。
- しかし、ネットワークには1つのボトルネックがありました。それは、BGP境界ルータの機能と一部のユーザーサービスを終了させる境界ルータです。
- はい、飛行機の翼と同じくらいの費用がかかりました（数百万ルーブル）
- はい、当時は最も有名なネットワークベンダーの製品ラインの中でもトップクラスのデバイスでした
- はい、非常に信頼性が高く、MTBF評価も優れている必要がありました。
- はい、4x2 方式に従って組み立てられ、異なる UEPS と入力から接続された 2 つの電源がありました。
しかし、これらすべてによって、彼がネットワークの単一障害点であったという事実は変わりませんでした。
そしてある日、私や同僚にとって決して喜ばしいことではありませんでした、このルータが故障してしまいました (後に、UEPS を介した電源ラインに何らかの障害があり、2 つの電源が同時に故障し、同時に、電源の XNUMX つがルータの RP モジュールと、デバイスの共通データバスに接続されていたインターフェイスカードを焼損したことがわかりました)。
バックアップボード (RP やインターフェイスカード) はありませんでしたが、NBD スキームに基づいてパートナーの 1 社と機器またはそのコンポーネントを交換する契約を結んでいました。
残念ながら、その時点でパートナーはインターフェースカードのみ在庫しており、RP ボードは在庫していなかったため、数日後 (3 日後) にようやく到着しました。
その結果、ネットワークに単一障害点が存在すると (サポート契約と機器の交換があっても)、次のような金銭的コストが発生します。
- この国境に関連する同社のサービスの割合は約60～70％であった。
- 後に計算したところ、当時の900日の利益は約XNUMX万ルーブルだった。
- したがって、3日間のダウンタイム中に、理論的には1万ルーブルから620万ルーブルの利益が失われた。
もちろん、大多数のユーザーに対する補償は金銭ではなくサービスの形で返還されたため、純損失は小さくなりましたが、それでも損失は存在しました。
- 法人ユーザーへの補償の一部
- 残業、夜勤、シフトの増加など、3～4日間フル稼働した会社の従業員のコストが増加しました。
- 評判の失墜も重要だ
- そして最も重要なのは、経営陣と従業員、そして顧客の神経です。
その結果、会社の方針は次のように改訂されました。
- NBD条件による交換契約を拒否した
- 通常のサービス契約を終了した
- メインルーターの機能の1％をバックアップするために、約1.3万～90万ルーブル相当の複製ルーターを購入した。
その後、追加機器を購入し、主要機器をバックアップすることで、外部リンク、トラフィック、ユーザー間の負荷を分散し、将来の事故に備えて会社に安全マージンを確保できるようになりました。
エンタープライズネットワーク設計の例
この記事のこの部分では、企業のバックボーンネットワークを計算する際の主要なポイントを概説します。 PPDIOO (準備、計画、設計、実装、運用、最適化) 方法論全体を詳しく説明するつもりはありませんが、主なポイントのみを概説します。
- 準備/準備 フォールトトレランスの向上、新しいサービスやテクノロジの実装など、達成したいネットワーク近代化の目標について経営陣と決定する必要があります。ここでは、技術的および組織的な制限の定義は省略します。これは、読者が組織の従業員であり、制限を克服するための十分な時間があることを前提としているためです。予算については後ほどまたお話しします。
- 計画/Plаniя - ここでは、現在のネットワークの完全な説明を作成する必要があります (まだわからない場合)。つまり、現在のネットワークを説明します。
  - 機器の数量と種類
  - ポートの数と種類
  - 建物内および建物間の既存のケーブルルートとスイッチング方式
  - 電力供給計画
  - L2およびL3アドレス指定
  - アクセスポイントとコントローラーを使用して Wi-Fi ネットワークマップを作成する
  - サーバーファームを説明する
  - すべてのサービスとそれらのつながりを説明することをお勧めします。
  - すでに何らかの形でネットワークセキュリティポリシーとネットワークアクセス制御ポリシーを実装している場合は、設計時に必ずそれを考慮してください。
  - 2 番目のステップは、基本的に、ケーブルインフラストラクチャと電源回路から始まり、サービス (アプリケーションとそのポート) で終わる、ネットワークの完全なインベントリを表すものであることをすぐに指摘したいと思います。このステップは非常に労力がかかり、時には退屈なこともあります。あなたやあなたの前任者がドキュメントや基本的な監視システムさえ持っていなかったのであれば、今こそそれについて考えるべきときです。ネットワークは時間の経過とともにさまざまな速度で変化する傾向があり、最新のドキュメントや監視システムを維持することによってのみ、ネットワークの状態を追跡し、管理を容易にすることができます。しかし、これはすでに操作ステップに関連しています。
- デザイン/設計 - 前のステップで得たネットワークに関する完全な知識を身に付けて、ようやくネットワークをアップグレードする方法についてじっくり考えます。以下では、ネットワーク計算の小さな例を示してみたいと思います。
私自身は、サポートネットワークを計算および設計するときに使用する初期データの小さなリストをまとめました。
準備ステップを、利用可能なものと実行予定のリストとして想像してみましょう。
- かなり大規模な企業があり、職場の数はおよそ 700 ～ 800 人です (ここでは、企業ネットワークへのアクセスを必要とする従業員の数を指します)。
- 企業の敷地内にはいくつかの独立した建物があります。
- 主な建物:
  - 建物数 - 2 棟
  - 建物の階数 - 7
  - 3つの建物内のフロアあたりの通信キャビネットの数 - 21個（合計XNUMX個）
  - 建物内の従業員数 = 約 250 人
- 追加のハウジング:
  - 建物数 - 10 棟
  - 建物/ワークショップの階数 - 2 個。
  - 建物内の通信キャビネットの数 - 3 個。
  - 建物内の従業員数 = 約 20 人
- ネットワークコアの現在のレベル (ちなみに、これはポートの構成や形式を問わず、私が何度も遭遇した非常に一般的なスキームです) が次のように表示されます。
  - 2 つの L2 スイッチ:
    - 1Gb RJ-45 ポート - 24 個
    - 1Gb SFP ポート - 4 個
  - 1番目のL2スイッチ:
    - 1Gb SFP ポート - 24 個
  - コアトポロジー - リング
  - スイッチ間のピアツーピアリンクは光ファイバーを使用して有効化されます
  - スイッチはキャビネット付きの小さなサーバールームに設置されている
- 現在の配布レベル:
  - アクセススイッチからのリンクを集約する点でネットワークコアレベルと組み合わせる
  - L3アドレスは境界ルータやファイアウォールに移動されます
- 現在のアクセスレベル:
  - 2 x 16 Mb RJ-100 アクセスポートと 45 つのギガビットアップリンクコンボ RJ-2/SFP ポートを備えた L45 スイッチ
  - スイッチは床のキャビネット内に設置されている
  - アクセススイッチトポロジ:
    - 中央にコア/ディストリビューションスイッチがあるスター型（ハブアンドスポーク型）
    - ビーム/スポークは、フロア上のスイッチの分岐です - チェーン内の 3 個
  - 管理されていないアクセススイッチがある
  - 9 つの追加ケースのスイッチはメディアコンバータ（光信号から電気信号へのコンバータ）を介して接続されています。
- 現在のケーブルインフラストラクチャ:
  - 建物間の配線システム:
    - 2つのメインビルの間には8芯の光ケーブルが通っている。
    - コアスイッチが設置されている追加の建物の1つと各メインの建物の間には、それぞれ8本のファイバー容量を持つ光ケーブルがXNUMX本あります。
    - ADD間には光ケーブルが1本あります。 4 芯コアスイッチを設置したケースとケース (その分布は下図に示されています)
    - すべてのケーブルのファイバータイプはシングルモード/SMFです
    - 2芯シングルモードSFPトランシーバが使用される
    - 一部のケーブルは別の部屋（クロスルーム/サーバールーム）の光配線盤（ODF）で終端され、一部のケーブルはフロアレベルの制御室で終端されます。
  - 建物内の配線システム:
    - サーバールームと各階の最初のキャビネットの間には、混合ケーブル構造があります。
    - 銅ケーブル Cat5e - 10 個 (または 100 ペアケーブル)
    - 4 芯または 8 芯光ファイバーマルチモード/MMF ケーブル - 1 個
    - フロアキャビネット間の4芯マルチモード/MMF光ファイバーケーブル
    - フロアキャビネットとアクセスコンセント間の Cat5e 銅ケーブル
  - 現在のデータセンター:
    - サーバーは複数あり、例えば6台
    - 第1本館のコアスイッチに1Gbポートを搭載
    - すべてのエンタープライズアプリケーションはサーバーに移行されます
  - L2、L3 アドレス指定とルーティング:
    - ネットワークには複数のVLANがあり、建物ごとに2,3個あります。
    - サーバーは別の/24ネットワークに割り当てられます
    - 内部のニーズには、172.16.0.0/16の範囲に含まれるグレークラスBネットワークが使用されます。
    - L3アドレスは境界ルータおよび/またはファイアウォールで終端されます
    - 静的ルーティングが使用される
  - 追加情報：
    - 電話:
      - 旧式のデジタルPBX（IP-PBXではない）を使用した従来の電話システムが建物や一部のユニットに導入されている。
      - 一定容量の高価な銅線を敷設したり、建物内に電話用の重複SCSを構築したりするコストをかけずに、新しい建物に電話を提供する必要がある。
      - 将来的には、企業全体にIPテレフォニーを導入し、CRMシステムと統合して全従業員を移行する予定です。
    - ポート容量:
      - トランクポートとアクセスポートの現在の容量を分析し、将来のニーズに備えて少なくとも25～30%を確保する必要がある。
      - アクセスポートとトランクリンクの現在のスループットの十分性を分析する
      - 隣接システム（ビデオ監視および電話）のデバイス用の PoE/PoE+ アクセスポートの存在を提供します。
    - ビデオ監視:
      - 企業ネットワークをビデオ監視ネットワークのトランスポートとして使用することが計画されています
      - CCTVカメラ用のPoEポートを用意する必要がある
    - ワイヤレスシステム:
      - 将来的には、従業員のモビリティのためのワイヤレスインフラストラクチャを導入する予定です。
      - アクセスポイントにPoEポートを設ける必要がある
    - 予算、期限、設備要件:
      - 既存の設備を最大限に活用する
      - ネットワークを設計する際には、N年先までのネットワーク容量の拡張の可能性を考慮する
      - ネットワークを設計するときは、考えられるすべてのセキュリティ機能のサポートを考慮してください。ポートセキュリティから始まり、802.1x によるユーザーの認証と承認で終わる機能のリストを以下に示します。
      - 可能な限り、コアとデータセンターなど、最も重要なネットワークノードを予約し、配布ノードなど、二次的な重要性を持つノードを予約する可能性を提供します。
      - プロジェクト予算は、いくつかの段階に分かれて段階的に資金を調達できるようにする必要がある。
      - 予算額 - 各企業が財務指標に基づいて独自に決定する
      - 期限 - 最も理想的なケースでは、これは社内プロジェクトであり、従業員によって実行されるため、明確な期限はありません。または、従業員が比較的慣れている場合（たとえば、1 年（またはそれ以上））です。最悪の場合、3か月からXNUMXか月かかることもあります。
    - 現在のネットワークの問題をトラブルシューティングします。
      - パケット損失
      - アクセスポートのループに対処するための STP プロトコルファミリの使用に関連する、多かれ少なかれインテリジェントなアクセススイッチでの DHCP の問題。
      - 各従業員のVLANにDHCPサーバーインターフェースが存在しないようにします。
      - オフィス内の管理対象/非管理対象スイッチの不正な起動と、それらへのあらゆる種類のデバイスの接続に関連するスイッチングループの発生
      - リストはどんどん続きます...
    すでに述べたように、計画ステップ（現在のネットワークの状態を特徴付ける）は、高品質の監視システムの可用性とそのドキュメント化の程度に依存します。このステップでは、次の操作を行う必要があります。
    - さらなる分析のために、少なくとも既存のネットワークをスケッチする
    - 機器からデータを収集する:
      - トランクポート上のトラフィック
      - ポートのエラー
      - スイッチとルーターのCPU負荷とメモリ消費
      - VLANとIPアドレスによるL2-L3スキームの説明
    - ケーブルルート図を上げる:
      - 光ファイバー図と光クロス接続配線図
      - サーバールームとフロア間の銅線配線計画
      - フロアとオフィス間の銅線配線計画
      - サーバールームとキャビネット内の光クロスとパッチパネルの存在を確認する
    - サーバーとフロアキャビネットの電源回路を確認する
    - 重要なノードにUPSとバッテリーが存在するかどうかを確認する
    - すべてのデータを分析する
    準備段階のデータを基に、大まかな論理図を作成しました。
    
    次に、モジュールアプローチに従って、企業のレベルとモジュールを特定する必要があります。
    
    この記事では Edge については触れませんが、Campus の各モジュールの基本的な概念を簡単に説明します。
    - アクセス - このレベルでは、次の点が保証される必要があります。
      - ユーザーがネットワークにアクセスするために必要なポートの数
      - セキュリティポリシーの実装 - トラフィックとプロトコルのフィルタリング
      - VLAN を使用したブロードキャストドメインの圧縮とネットワークのセグメンテーション
      - 音声トラフィック用の個別のVLANの実装
      - QoS サポート
      - PoEアクセスポートのサポート
      - IP マルチキャストサポート
      - 配信層と連動したアップリンクのフォールトトレランス（望ましい）
    - 配布 - このレベルでは、次の点が確保される必要があります。
      - アクセススイッチを接続するために必要なポート数
      - アクセススイッチリンクの集約と冗長性
      - IPルーティング
      - パケットフィルタリング
      - QoS サポート
      - リンク、ハードウェア、電源レベルでのフォールトトレランス（非常に望ましい）
    - コアは以下を提供する必要があります。
      - 高速スイッチングとパケットルーティング
      - 分散スイッチを接続するために必要なポート数
      - 高速ネットワークコンバージェンスを備えた IP ルーティングおよび動的ルーティングプロトコルのサポート
      - QoS サポート
      - 機器や制御プレーンへのアクセスを保護するセキュリティ機能
      - ハードウェアおよび電源のフォールトトレランス（必須）
    - データセンター - このモジュールのネットワーク層は以下を提供する必要があります。
      - 高速通信リンク
      - サーバーを接続するために必要なポートの数
      - サーバーとデータセンタースイッチ間、およびデータセンタースイッチとネットワークコア間の通信リンクの冗長性（必須）
      - 機器および電源バックアップ（必須）
      - QoS サポート
    次に、ポートと通信リンクを数え、要件を決定する必要があります。
    アクセスレベル - ポート計算表
    そこで、建物別のアクセスポートの分布に関するデータを取得しました。ここで、アクセスレベルの要件とコメントを分析し、ソリューションオプションの概要を示す必要があります。
    アクセスレベル - 要件とソリューションオプション
    次に、次のレベルのポートと通信リンクを計算します。
    配布レベル
    コアレベル
    データセンターレベル
    計算すると次のようになりました。
    - アクセスレベル — 24 ポートおよび 48 ポートのアクセススイッチが必要です。1Gb アクセスポートと、PoE サポートおよび幅広い機能を備えた光アップリンク SFP ポートが望ましいです。
      - 合計で 504 個のアクセスポートが提供され、ワークステーションごとに IP 電話ポートとデータポートの 2 つのポートを使用することを決定した場合、原則として予備ポートの要件が満たされます。
      - 各フロアに PoE 機能を備えた 48 ポートスイッチを XNUMX 台使用して、要件に応じたアクセスポートを提供することができます。
        
        予備 - メインの建物に約 102 個の予備ポート (22%)。追加の建物の場合はさらに 25% かかります。
        
        ビデオ監視
        
        無線ネットワーク
    - 配布レベル — 12 ～ 48 個の SFP ポートセットと少なくとも 2 つの SFP+ ポートを備えたスイッチ。スタック機能と拡張機能を備え、バックアップ電源を備えている必要があります。
    - コアレベル — MC-LAG をサポートするスタッキングとクラスタリングの両方をサポートする 12 ～ 24 個の SFP/SFP+ ポートを備えた高速スイッチが必要です。ルーティングツールを使用してトラフィックのバランスをとることも可能であることに注意してください。最新世代の L3 スイッチとルーターは、同じメトリックを持つ 4 つ以上のルート間でトラフィックを分散する ECMP をサポートしています。
    - データセンターレベル — MC-LAG をサポートするスタッキングとクラスタリングの両方をサポートする 8 ～ 24 個の SFP/SFP+ ポートを備えたスイッチが必要です。
    目標ネットワーク計画はついに達成されたそのような
    プロジェクト実装のためのエクストリームスイッチの選択
    さて、ここで私たちは重要なこと、つまりプロジェクトの実装のためのスイッチを選択する瞬間に来ました。結果として得られるターゲット設計には、次の Extreme スイッチが適しています。
    Уровень
    モデル
    ポート
    説明
    コア
    x620-16x-ベース*
    x670-G2-48x-4q-ベース*
    16 x 10GE SFP+
    
    48x10GE SFP+ および 4x40GE QSFP+
    カーネルのコアニーズ:
    - 高速リンク
    - 高度なルーティングとセキュリティ機能
    - 追加電源バックアップ電源
    - スタッキングとクラスタリングのサポート
    x620 シリーズスイッチは、最低限の要件を満たします。
    ポート数の増加と幅広い機能に対する要件がさらに高まる場合は、x670-G2 シリーズスイッチを検討する価値があります。
    データセンター
    x620-16x-ベース*
    x590-24x-1q-2c*
    x670-G2-48x-4q-ベース*
    16 x 10GE SFP+
    
    24x10GE SFP, 1xQSFP+, 2xQSFP28
    
    48x10GE SFP+ および 4x40GE QSFP+
    データセンターの基本的なニーズ:
    - 高速リンク
    - 追加電源バックアップ電源
    - スタッキングとクラスタリングのサポート
    x620 シリーズスイッチは、最低限の要件を満たします。
    ポート数や機能の拡張要件がある場合は、x670-G2 および x590-24x-1q-2c シリーズスイッチを検討する価値があります。
    配布
    X460-G2-24x-10GE4-Base*
    X460-G2-48x-10GE4-Base*
    24x1GE SFP、8x1000 RJ-45、4x10GE SFP+
    
    48x1GE SFP、4x10GE SFP+
    基本的な配布ニーズの場合:
    - 必要な光ポート数
    - 追加電源バックアップ電源
    - スタッキングとクラスタリングのサポート
    - 必要なL3機能
    x460-G2 シリーズスイッチが最適です。 10G、CX (スタッキング用)、QSFP+ ポートを拡張および追加できる冗長電源を備えているため、最大 1 Gb のポートを備えたディストリビューションレイヤーに最適なスイッチです。
    アクセス
    X440-G2-24p-10GE4*
    X440-G2-24t-10GE4*
    X440-G2-48t-10GE4*
    X440-G2-48p-10GE4*
    24x1000BASE-T(4 x SFP コンボ)、4x10GE SFP+ (PoE 予算 380 W)
    
    24x1000BASE-T(4 x SFP コンボ)、4x10GE SFP+
    
    24x1000BASE-T(4 x SFP コンボ)、4x10GE SFP+ コンボポート
    
    48x1000BASE-T(4 x SFP コンボ)、4x10GE SFP+ コンボポート (PoE 予算 740 W)
    アクセスのニーズ:
    - 必要なアクセスポートの数
    - PoE/PoE+サポート
    - 機能性とポート拡張機能
    - 10Gbポートのスタッキングを「すぐに」サポートするという形での追加ボーナス
    ポート、パフォーマンス、機能性の面での柔軟性の点で、このラインに注目することをお勧めします。
    *選択したスイッチの仕様については、シリーズの最初の記事をご覧ください。エクストリームスイッチのレビュー
    ここで記事を終わらせることもできますが、ネットワークを開発またはアップグレードするときにエンジニアが遭遇する 2 つの側面についてさらに説明したいと思います。
    - ケーブルルート（光ファイバーと銅線）での作業
    - IP アドレス指定
    繊維を扱う
    上記では達成すべき目標スキームを示しました。これを実装するには、次の数の機器接続が必要です。
    通信リンクの数
    表からわかるように、ネットワークレベル (コアモジュール、データセンター、2 つの建物内の配布) のフォールトトレランスを確保するために必要なファイバーの最小数は 10 本です。
    ネットワーク特性評価の段階で、建物間のケーブルにはファイバーが 8 本しかないことがわかりました。このような状況ではどうすればいいでしょうか?
    いくつかの解決策を挙げます:
    - 最初の明らかなステップは、ビル 1 とビル 1 の間、およびビル 1 とビル 2 の間のケーブルで予備のファイバーを使用することです (表からわかるように、各ケーブルの 2 本のファイバーのうち 8 本だけが使用されます)。これを行うには、ケース 1 のクロスコネクト間に光クロスコネクトをインストールし、必要に応じて予備の光バジェットを備えた SFP モジュールを使用するだけで十分です。
    - 2 番目のステップは、CWDM テクノロジ (単一のファイバー内での搬送波波長の多重化) の使用の可能性です。この技術は DWMD よりもはるかに安価で、実装も非常に簡単です。要件は主に、一定の長さと予算の範囲内の光ファイバーと SFP/SFP+ トランシーバーの品質に関するものです。前回の記事で述べたように、スイッチがサードパーティのトランシーバーを認識する機能により、私たちの生活ははるかに楽になり、追加の光ケーブルを構築するための資本コストが削減されます。
    - 3 番目のステップは、追加の光ケーブルを敷設してファイバー数を増やす可能性を検討することです。
    次に、配布スイッチが設置されている建物間のファイバー数を調べて追加します。建物2-10。ここでも、すべてが明確というわけではありません。
    - まず、目標スキームを実装するにはファイバーが足りません - 各スイッチにファイバー 2 本 (覚えているように、各ケースに 4 つの OB を持つケーブルがあります)
    - 第二に、建物間に十分な数のファイバーがあっても、建物内部ではMMFファイバーが使用されているため、SMFファイバーとMMFファイバーを単純に接続することはできません（建物間の距離が300〜400メートルを超える場合について話している）。
    このような場合には、次のオプションを検討できます。
    - 各 SMF スイッチにファイバーを提供する:
      - 距離が許せば、スイッチ間にさらに長いパッチコードを延長できます。かつては 30 ～ 50 m の長さのパッチコードを使用していました。
      - キャビネット間に比較的安価な低容量の光SMFケーブルを敷設する
      - 最後の手段として、さまざまなSMF-MMFコンバータを使用する
    - 建物間で使用されるファイバーの量を最小限に抑えるには、次の方法があります。
      - x440-G2 アクセススイッチのスタッキング機能を使用します。フロアの各スイッチに 1 本の SMF ファイバーを使用することで、各サイドで 6 本のファイバーとポートではなく 3 本のファイバーとポートを使用できるようになります。
      - 2 本のファイバーを使用して、ブランチの最初のスイッチと最後のスイッチを接続します。エッジアクセススイッチ上のリンクを集約し、結果として得られるリングで STP プロトコルを使用します。
    IP アドレス指定
    ここで、私たちの計画のアドレス指定のおおよその計算を示します。
    現時点では、クラス B ネットワーク (172.16.0.0/16) がいくつかあります。 IP アドレス空間を計算するときは、次の点を考慮します。
    - 4 番目のオクテットの 172.16.0.0 ビットは建物 (12/XNUMX) を表します。
    - オクテット 3 は建物の階数を示します。
    - 3 オクテット = 255 は、機器と制御ネットワークのポイントツーポイントリンクに割り当てられます。
    - スイッチを管理するためのフロアごとに 1 つの管理 VLAN。
    - スイッチごとに 24 つのユーザー VLAN (平均 XNUMX ポート)。
    - スイッチごとに 24 つの音声 VLAN (平均 XNUMX ポート)。
    - 各フロアにビデオ監視システム用の VLAN が 1 つずつあります。
    - フロアごとに Wi-Fi デバイス用の VLAN が 1 つあります。
    次のような表を取得しました。
    ネットワーク 172.16.0.0/14
    ネットワーク 172.20.0.0/14
    上記の表では、一方では建物とフロア別のネットワークのおおよその分布を示し、他方ではネットワーク（ユーザー、管理、サービス）別の分布を示しています。
    実際、グレーのネットワーク 172.16.0.0/12 を選択することは最適ではありません。建物のネットワーク数 (16 ～ 31) が制限され、ネットワークブロックを削減する必要のあるリモートオフィスもあるためです。おそらく、より最適なオプションは、10.0.0.0/8 ネットワークを使用するか、172.16.0.0/12 ネットワーク (サービスニーズやサーバー用など) と 10.0.0.0/8 (ユーザーネットワーク用) を併用することです。
    一般に、IP ネットワークを割り当てるアプローチもモジュール化されており、分散レベルおよびリモートブランチの境界ルータでサブネットを 1 つのサマリーネットワークにまとめるルールに従うことが望ましいです。これにはいくつかの理由があります:
    - ルーターのルーティングテーブルを最小限に抑える
    - ルーティングプロトコルのサービストラフィックを最小限に抑える（ネストされたサブネットが利用できない場合のあらゆる種類の更新メッセージ）
    - L3ネットワークの管理を簡素化し、可読性を向上させる
    最初の 2 つの点に関して注目すべき点は、現代のルーターの容量は 15 ～ 20 年前のルーターよりもはるかに高く、RAM 内に大規模なルーティングテーブルを格納できるようになったこと、また、E1/T1 (G.703) フローが広く使用されていた時代に比べて、通信チャネルの価格と帯域幅の比率が低下していることです。
    まとめ
    皆さん、この記事では、キャンパスネットワークを設計するための基本原則について、できるだけ簡単に説明しようとしました。はい、資料はかなりたくさんありましたが、次のようなトピックには触れませんでした。
    - 企業の境界の組織化（これは、独自のスイッチ、境界、ファイアウォール、IPS/IDS システム、DMZ、VPN などに関する別の話です）
    - Wi-Fiネットワークの構成
    - VoIPネットワークの構成
    - データセンター組織
    - セキュリティ（これも別の世界ですが、量と要件の点ではクリーンなネットワークインフラストラクチャの設計に劣らず、場合によってはそれを上回ることもあります）
    - パワーエンジニアリング
    - リストはまだまだ続きます
    実際、エンタープライズネットワークの設計と構築は、多くの時間とリソースを必要とする、かなり骨の折れる作業です。
    しかし、この記事が、このタスクにどのように取り組むかを基本的なレベルで評価し、理解するのに役立つことを願っています。
    これは最後の記事ではありませんエクストリームネットワーク、お楽しみに（Telegram, Facebook, VK, TSソリューションブログ)!