最初の XNUMX つの記事では、自動化の問題を提起し、そのフレームワークを概説しました。XNUMX 番目の記事では、サービスの構成を自動化するための最初のアプローチとしてネットワーク仮想化に戻りました。
次に、物理ネットワークの図を描きます。

データセンター ネットワークのセットアップに慣れていない場合は、次から始めることを強くお勧めします。 彼らに関する記事.

すべての問題:

• 0.ADSM。 パートゼロ。 企画
• 1.ADSM。 パート XNUMX (ゼロ以降)。 ネットワーク仮想化
• 2.ADSM。 パートXNUMX。 ネットワーク設計

このシリーズで説明する実践方法は、あらゆるタイプ、あらゆる規模、さまざまなベンダーのネットワークに適用できる必要があります (そうでない場合もあります)。 ただし、これらのアプローチの応用例を普遍的に説明することは不可能です。 したがって、DC ネットワークの最新のアーキテクチャに焦点を当てます。 クロツ工場.
MPLS L3VPN で DCI を実行します。

オーバーレイ ネットワークは、ホストからの物理ネットワーク上で実行されます (これには、OpenStack の VXLAN やタングステン ファブリック、またはネットワークからの基本的な IP 接続のみを必要とするその他のものが考えられます)。

この場合、同じ方法で構成された機器が多数あるため、自動化の比較的単純なシナリオが得られます。

真空中で球状 DC を選択します。

• どこでも XNUMX つのデザイン バージョン。
• XNUMX つのベンダーが XNUMX つのネットワーク プレーンを形成します。
• XNUMX つの DC は、サヤに入った XNUMX つのエンドウ豆のような別の DC と似ています。

ページ内容

• 物理トポロジー
• ルーティング
• IPプラン
• ラバ
• まとめ
• 便利なリンク集

たとえば、サービス プロバイダー LAN_DC が、エレベーターの詰まりでの生存に関するトレーニング ビデオを主催してみましょう。

大都市ではこれが非常に人気があるため、多数の物理マシンが必要になります。

まず、私が望むネットワークについておおよそ説明します。 次に、それをラボ用に簡略化します。

物理トポロジー

どうも

LAN_DC には 6 つの DC があります。

• ロシア (RU):
  • モスクワ (MSK)
  • カザン（kzn)

• スペイン (SP):
  • バルセロナ (bcn)
  • マラガ (MLG)

• 中国 （CN):
  • 上海 (SHA)
  • 西安 (です。)

DC 内 (DC 内)

すべての DC には、Clos トポロジに基づいた同一の内部接続ネットワークがあります。
Clos ネットワークはどのような種類のもので、なぜ別のネットワークにあるのか статье.

各 DC にはマシンを備えた 10 個のラックがあり、次のように番号が付けられます。 A, B, C などなど。

各ラックには 30 台のマシンがあります。 彼らは私たちに興味を持たないだろう。

また、各ラックにはすべてのマシンが接続されるスイッチがあります - これは トップオブラックスイッチ - ToR あるいは、Clos 工場に関して言えば、これを次のように呼びます。 葉.

工場全体図。

私たちは彼らに電話します XXX-葉Yどこ XXX - XNUMX 文字の略語 DC、および Y - シリアルナンバー。 例えば、 kzn-リーフ11.

私の記事では、Leaf と ToR という用語を軽薄に同義語として使用することを許可します。 しかし、そうではないことを覚えておかなければなりません。
ToR は、マシンが接続されるラックに設置されるスイッチです。
リーフは、物理ネットワーク内のデバイスの役割、または Cloes トポロジーの観点から見た第 XNUMX レベルのスイッチです。
つまり、Leaf != ToR です。
たとえば、Leaf は EndofRaw スイッチになる可能性があります。
ただし、この記事の枠組み内では、これらを同義語として扱います。

各 ToR スイッチは、XNUMX つの上位レベルの集約スイッチに順番に接続されます。 脊椎。 DC 内の XNUMX つのラックがスパインに割り当てられます。 同様に名前を付けます。 XXX-脊椎Y.

同じラックには、MPLS を搭載した DC-2 ルーター間の接続用のネットワーク機器が含まれます。 しかし、概して、これらは同じ ToR です。 つまり、Spine スイッチの観点からは、接続されたマシンまたは DCI 用のルーターによる通常の ToR は重要ではありません。まったくの前進です。

このような特殊な ToR は次のように呼ばれます。 エッジリーフ。 私たちは彼らに電話します XXX-縁Y.

このようになります。

上の図では、実際にエッジとリーフを同じレベルに配置しました。 古典的な XNUMX 層ネットワーク 彼らは、アップリンク (したがってこの用語) をアップリンクとして考えるように私たちに教えてくれました。 そしてここで、DCI の「アップリンク」がダウンに戻っていることが判明しました。これは、一部の人にとっては、通常のロジックをわずかに破っています。 大規模なネットワークの場合、データセンターがさらに小さなユニットに分割されると、 POD's (配達時点)、個別のハイライト エッジPODDCI と外部ネットワークへのアクセス用。

将来の認識を容易にするために、私は引き続きスパインの上にエッジを描画しますが、スパインにはインテリジェンスがなく、通常のリーフとエッジリーフを使用する場合には違いがないことに留意してください（ただし、ここではニュアンスがあるかもしれません） 、しかし一般的にこれは真実です）。

エッジリーフを使用した工場のスキーム。

リーフ、スパイン、エッジの三位一体がアンダーレイ ネットワークまたはファクトリーを形成します。

すでに定義したネットワーク ファクトリのタスク (アンダーレイを参照) 最終号非常にシンプルです - 同じ DC 内および DC 間のマシン間の IP 接続を提供します。
たとえば、モジュラー ネットワーク ボックス内のスイッチング ファクトリと同じように、ネットワークがファクトリと呼ばれるのはこのためです。詳細については、次の記事を参照してください。 SDSM14.

一般に、このようなトポロジーはファクトリーと呼ばれます。これは、ファブリックが翻訳でファブリックを意味するためです。 それに同意するのは難しい:

工場は完全にL3です。 VLAN もブロードキャストもありません。LAN_DC には素晴らしいプログラマーがいます。彼らは L3 パラダイムで動作するアプリケーションの書き方を知っており、仮想マシンは IP アドレスを保持したライブ マイグレーションを必要としません。

そしてもう一度、なぜ工場となぜL3が別の場所にあるのかという質問への答えです。 статье.

DCI - データセンター相互接続 (DC 間)

DCI は Edge-Leaf を使用して組織されます。つまり、これらは高速道路への出口ポイントです。
簡単にするために、DC は直接リンクによって相互に接続されていると仮定します。
外部接続は考慮から除外しましょう。

コンポーネントを削除するたびに、ネットワークが大幅に簡素化されていることを認識しています。 そして、抽象的なネットワークを自動化すると、すべてがうまくいきますが、実際のネットワークでは松葉杖が必要になります。
これは本当です。 それでも、このシリーズのポイントは、想像上の問題を英雄的に解決することではなく、アプローチを考えて取り組むことです。

Edge-Leafs では、アンダーレイは VPN に配置され、MPLS バックボーン (同じ直接リンク) を介して送信されます。

これが取得した最上位の図です。

ルーティング

DC 内のルーティングには BGP を使用します。
MPLS トランク OSPF+LDP 上。
DCI の場合、つまり、アンダーグラウンドでの接続の組織化 - MPLS 上の BGP L3VPN。

一般的なルーティングスキーム

工場には OSPF または ISIS (ロシア連邦で禁止されているルーティング プロトコル) はありません。

これは、自動検出や最短パスの計算は行われず、プロトコル、近隣、ポリシーの設定は手動 (実際には自動です。ここでは自動化について話しています) のみであることを意味します。

DC 内の BGP ルーティング スキーム

なぜ BGP なのか?

このトピックについては、 RFC全体 Facebook と Arista にちなんで名付けられ、構築方法を説明します。 非常に大きい BGP を使用したデータセンター ネットワーク。 まるでフィクションのような内容なので、気だるい夜にぜひお勧めです。

そして、私の記事にはこれに特化したセクション全体もあります。 あなたをどこに連れて行きますか 送っています.

しかし、それでも、要するに、ネットワーク デバイスの数が数千にも及ぶ大規模なデータ センターのネットワークに適した IGP はありません。

さらに、どこでも BGP を使用すると、複数の異なるプロトコルのサポートとそれらの間の同期に時間を無駄にすることがなくなります。

実際、私たちの工場では、急速に成長する可能性が高くはありませんが、目にはOSPFで十分です。 これらは実際には、メガスケーラーとクラウドの巨人の問題です。 しかし、いくつかのリリースでそれが必要になり、ピョートル・ラプホフが遺したように BGP を使用することを想像してみましょう。

ルーティングポリシー

リーフ スイッチでは、アンダーレイ ネットワーク インターフェイスから BGP にプレフィックスをインポートします。
の間で BGP セッションを確立します。 各 リーフとスパインのペア。これらのアンダーレイ プレフィックスがネットワーク上であちこちにアナウンスされます。

ToRe にインポートした仕様を XNUMX つのデータセンター内で配布します。 Edge-Leafs では、それらを集約してリモート DC にアナウンスし、TOR に送信します。 つまり、各 ToR は、同じ DC 内の別の ToR に到達する方法と、別の DC 内の ToR に到達するためのエントリ ポイントがどこにあるのかを正確に知っています。

DCI では、ルートは VPNv4 として送信されます。 これを行うには、エッジ リーフ上でファクトリへのインターフェイスが VRF に配置されます (これを UNDERLAY と呼びます)。エッジ リーフ上のスパインを持つ近傍は VRF 内、および VPNv4 のエッジ リーフ間に立ち上がります。家族。

また、スパインから受け取ったルートをスパインに戻すルートを再アナウンスすることも禁止します。

Leaf と Spine では、ループバックはインポートされません。 これらはルーター ID を決定するためにのみ必要です。

しかし、Edge-Leafs では、それを Global BGP にインポートします。 ループバック アドレス間で、Edge-Leaf は IPv4 VPN ファミリで相互に BGP セッションを確立します。

EDGE デバイス間には OSPF+LDP バックボーンが存在します。 すべてが XNUMX つのゾーン内にあります。 極めてシンプルな構成。

ルーティングを施した画像です。

BGP ASN

エッジリーフASN

Edge-Leaf では、すべての DC に 65535 つの ASN が存在します。 Edge-Leaf 間に iBGP が存在することが重要であり、eBGP の微妙な違いに囚われないようにします。 XNUMX とします。実際には、これはパブリック AS の番号である可能性があります。

脊椎ASN

Spine では、DC ごとに 64512 つの ASN があります。 ここでは、プライベート AS の範囲の最初の番号 (64513、XNUMX など) から始めましょう。

DC で ASN を使用する理由

この質問を XNUMX つに分けてみましょう。

• XNUMX つの DC のすべてのスパインで ASN が同じなのはなぜですか?
• DC ごとに異なるのはなぜですか?

XNUMX つの DC のすべてのスパインに同じ ASN があるのはなぜですか?

Edge-Leaf 上の Underlay ルートの AS-Path は次のようになります。
[leafX_ASN, spine_ASN, edge_ASN]
これを Spine にアドバタイズしようとすると、その AS (Spine_AS) がすでにリストに含まれているため、Spine はそれを破棄します。

ただし、DC 内では、エッジに上昇するアンダーレイ ルートが下降できないことに完全に満足しています。 DC 内のホスト間のすべての通信は、スパイン レベル内で発生する必要があります。

この場合、他の DC の集約ルートは、いずれの場合でも ToR に簡単に到達します。AS パスには、AS エッジ リーフの数である ASN 65535 のみが作成されます。

DC ごとに異なるのはなぜですか?

理論的には、ループバックと一部のサービス仮想マシンを DC 間でドラッグする必要がある場合があります。

たとえば、ホスト上で Route Reflector を実行するか、 同じVNGW (仮想ネットワーク ゲートウェイ)、BGP 経由で TopR とロックし、すべての DC からアクセスできるはずのループバックをアナウンスします。

AS-Path は次のようになります。
[VNF_ASN, leafX_DC1_ASN, spine_DC1_ASN, edge_ASN, spine_DC2_ASN, leafY_DC2_ASN]

また、どこにも重複する ASN があってはなりません。

つまり、Spine_DC1 と Spine_DC2 は、leafX_DC1 と LeafY_DC2 と同様に、異なっていなければなりません。これがまさに私たちが取り組んでいることです。

おそらくご存知かと思いますが、ループ防止メカニズム (Cisco のallowas-in) にもかかわらず、重複した ASN を持つルートを受け入れることを可能にするハッキングが存在します。 そして、それは合法的な用途さえあります。 しかし、これはネットワークの安定性に潜在的なギャップがあります。 そして私自身も何度かそれに陥りました。

そして、危険なものを使用しない機会があれば、それを活用します。

リーフASN

ネットワーク全体の各リーフ スイッチに個別の ASN が存在します。
これは、ループのない AS パス、ブックマークのない BGP 構成という上記の理由により行われます。

リーフ間のルートがスムーズに通過するには、AS パスは次のようになっている必要があります。
[leafX_ASN, spine_ASN, leafY_ASN]
ここで、leafX_ASN と LeafY_ASN は異なる方がよいでしょう。

これは、DC 間の VNF ループバックのアナウンスの状況にも必要です。
[VNF_ASN, leafX_DC1_ASN, spine_DC1_ASN, edge_ASN, spine_DC2_ASN, leafY_DC2_ASN]

4 バイトの ASN を使用し、スパインの ASN とリーフ スイッチ番号に基づいて次のように生成します。 スパイン_ASN.0000X.

こちらはASNの写真です。

IPプラン

基本的に、次の接続にアドレスを割り当てる必要があります。

1. ToR とマシン間のアンダーレイ ネットワーク アドレス。 どのマシンも他のマシンと通信できるように、これらはネットワーク全体内で一意である必要があります。 素晴らしいフィット感 10/8。 各ラックには予備を持つ /26 があります。 DC ごとに /19、リージョンごとに /17 を割り当てます。
2. Leaf/Tor と Spine 間のリンク アドレス。

   それらをアルゴリズム的に割り当てたい、つまり、接続する必要があるデバイスの名前から計算して割り当てたいと考えています。

   そのままにしておきます...169.254.0.0/16。
   すなわち 169.254.00X.Y/31どこ X - スパイン番号、 Y — P2P ネットワーク /31。
   これにより、DC 内で最大 128 個のラックと最大 10 個のスパインを起動できるようになります。 リンク アドレスは DC から DC へ繰り返すことができます (そしてそうすることになります)。

3. サブネット上でスパイン-エッジ-リーフ ジャンクションを構成します 169.254.10X.Y/31、まったく同じです X - スパイン番号、 Y — P2P ネットワーク /31。
4. Edge-Leaf から MPLS バックボーンへのリンク アドレス。 ここでは状況が多少異なります。すべての部分が XNUMX つのパイに接続されているため、同じアドレスの再利用は機能しません。次の空きサブネットを選択する必要があります。 したがって、基本として考えてみましょう 192.168.0.0/16 そして私たちはそこから無料のものをかき集めます。
5. ループバックアドレス。 私たちは彼らのために全範囲を提供します 172.16.0.0/12.
   • リーフ - DC ごとに /25 - 同じ 128 ラック。 リージョンごとに /23 を割り当てます。
   • スパイン - DC あたり /28 - 最大 16 スパイン。 リージョンごとに /26 を割り当てましょう。
   • Edge-Leaf - DC ごとに /29 - 最大 8 ボックス。 リージョンごとに /27 を割り当てましょう。

DC に十分な割り当て範囲がない場合 (ハイパースケーラーであると主張しているため、割り当てられる範囲は存在しないでしょう)、単純に次のブロックを選択します。

これはIPアドレスを設定した画像です。

ループバック:

プレフィックス
デバイスの役割
地域
ДЦ

172.16.0.0/23
エッジ
 
 

172.16.0.0/27
ru
 

172.16.0.0/29
MSK

172.16.0.8/29
kzn

172.16.0.32/27
sp
 

172.16.0.32/29
bcn

172.16.0.40/29
MLG

172.16.0.64/27
cn
 

172.16.0.64/29
SHA

172.16.0.72/29
です。

172.16.2.0/23
脊椎
 
 

172.16.2.0/26
ru
 

172.16.2.0/28
MSK

172.16.2.16/28
kzn

172.16.2.64/26
sp
 

172.16.2.64/28
bcn

172.16.2.80/28
MLG

172.16.2.128/26
cn
 

172.16.2.128/28
SHA

172.16.2.144/28
です。

172.16.8.0/21
葉っぱ
 
 

172.16.8.0/23
ru
 

172.16.8.0/25
MSK

172.16.8.128/25
kzn

172.16.10.0/23
sp
 

172.16.10.0/25
bcn

172.16.10.128/25
MLG

172.16.12.0/23
cn
 

172.16.12.0/25
SHA

172.16.12.128/25
です。

アンダーレイ：

プレフィックス
地域
ДЦ

10.0.0.0/17
ru
 

10.0.0.0/19
MSK

10.0.32.0/19
kzn

10.0.128.0/17
sp
 

10.0.128.0/19
bcn

10.0.160.0/19
MLG

10.1.0.0/17
cn
 

10.1.0.0/19
SHA

10.1.32.0/19
です。

ラバ

ベンダーはXNUMX社。 XNUMX つのネットワーク。 ADSM。

ジュニパー+アリスタ。 ウブントゥ。 古き良きイブ。

ミラナの仮想サーバーのリソース量はまだ限られているため、練習では限界まで簡素化したネットワークを使用します。

XNUMX つのデータセンター: カザンとバルセロナ。

• それぞれ XNUMX つのスパイン: ジュニパーとアリスタ。
• Juniper と Arista のそれぞれに XNUMX つのトーラス (リーフ) があり、XNUMX つのホストが接続されています (これには軽量の Cisco IOL を使用します)。
• Edge-Leaf ノードがそれぞれ XNUMX つ (現時点では Juniper のみ)。
• XNUMX 台の Cisco スイッチですべてを制御できます。
• ネットワーク ボックスに加えて、仮想制御マシンが実行されます。 Ubuntuを実行しています。
  すべてのデバイスにアクセスでき、IPAM/DCIM システム、多数の Python スクリプト、Ansible、その他必要なものはすべて実行されます。

完全な構成 すべてのネットワーク デバイスのデータを自動化を使用して再現しようとします。

まとめ

それも受け入れられるんですか？ 各記事の下に短い結論を書くべきですか?

そこで私たちが選んだのは、 XNUMXレベル 大量の East-West トラフィックが予想され、ECMP が必要なため、DC 内の Clos ネットワーク。

ネットワークは物理 (アンダーレイ) と仮想 (オーバーレイ) に分割されました。 同時に、オーバーレイはホストから開始されるため、アンダーレイの要件が簡素化されます。

拡張性とポリシーの柔軟性を考慮して、ネットワーク ネットワークのルーティング プロトコルとして BGP を選択しました。

DCI を編成するための別個のノード (エッジリーフ) を用意します。
バックボーンにはOSPF+LDPが搭載されます。
DCI は MPLS L3VPN に基づいて実装されます。
P2P リンクの場合、デバイス名に基づいて IP アドレスがアルゴリズムで計算されます。
デバイスの役割とその場所に応じてループバックを順番に割り当てます。
アンダーレイ プレフィックス - リーフ スイッチのみ、位置に基づいて順番に切り替えられます。

現時点ではまだ機器が設置されていないと仮定しましょう。
したがって、次のステップでは、それらをシステム (IPAM、インベントリ) に追加し、アクセスを整理し、構成を生成して展開します。

次の記事では、DC 内の IP スペースのインベントリおよび管理システムである Netbox について説明します。

ありがとう

• Andrey Glazkov 別名 @glazgoo 校正と修正を担当
• Alexander Klimenko 別名 @v00lk 校正と編集を担当
• KDPVのアルチョム・チェルノベイ

出所： habr.com