🥇トラフィック交換ポイント: 起源から独自の IX の作成まで

「私たちとSRIの人々との間に電話接続を確立しました…」とクラインロック氏はインタビューで語った。
「私たちは L を入力し、電話で「L が見えますか?」と尋ねました。
「はい、Lが見えます」との返事が返ってきた。
「私たちは O をタイプして、『O が見えますか』と尋ねました。」
「はい、Oが見えます。」
「その後、G を入力したところ、システムがクラッシュしました。」

それでも革命は始まっていた…

インターネットの始まり。

みなさん、こんにちは！

私の名前はアレクサンダーです。Linxdatacenter のネットワークエンジニアです。今日の記事では、トラフィック交換ポイント (インターネット交換ポイント、IXP) について説明します。その登場に先立って何が行われ、どのようなタスクを解決し、どのように構築されるかについて説明します。また、この記事では、EVE-NG プラットフォームと BIRD ソフトウェアルーターを使用した IXP の動作原理を示し、IXP が「内部で」どのように動作するかを理解できるようにします。

歴史を少し

見ればここでとすると、トラフィック交換ポイントの数の急速な増加が 1993 年に始まったことがわかります。これは、当時存在していた通信事業者のトラフィックのほとんどが米国のバックボーンネットワークを経由していたためです。したがって、たとえば、トラフィックがフランスの通信事業者からドイツの通信事業者に送信される場合、最初にフランスから米国に送信され、次に米国からドイツに送信されます。この場合のバックボーンネットワークは、フランスとドイツ間の中継として機能しました。 XNUMX つの国内のトラフィックであっても、多くの場合、直接ではなく、米国の通信事業者のバックボーンネットワークを経由します。

この状況は、交通トラフィックの配信コストだけでなく、チャネルの品質や遅延にも影響を与えました。インターネットユーザーの数が増加し、新しい通信事業者が登場し、トラフィック量が増加し、インターネットが成熟しました。世界中の通信事業者は、通信事業者間の対話を組織するためのより合理的なアプローチが必要であることに気づき始めました。「なぜ、オペレーター A である私が、隣の通りにいるオペレーター B にトラフィックを届けるために、別の国を経由する交通費を支払わなければならないのでしょうか?」これは、当時の通信事業者が自問した疑問とほぼ同じです。したがって、交通交換ポイントは世界のさまざまな地域のオペレーター集中ポイントに出現し始めました。

1994 – ロンドンのリンクス、
1995 – フランクフルトの DE-CIX、
1995 – MSK-IX、モスクワなど

インターネットと私たちの時代

概念的には、現代のインターネットのアーキテクチャは、多くの自律システム (AS) とそれらの間の物理的および論理的な多くの接続で構成されており、AS から別の AS へのトラフィックのパスが決定されます。

AS は通常、通信事業者、インターネットプロバイダー、CDN、データセンター、およびエンタープライズセグメント企業です。 AS は、通常は BGP プロトコルを使用して、AS 間で論理接続 (ピアリング) を組織します。

自律システムがこれらの接続をどのように編成するかは、次のようなさまざまな要因によって決まります。

地理的、
経済的、
政治的、
AS所有者間の合意と共通の利益、
等

もちろん、このスキームには特定の構造と階層があります。したがって、オペレータは Tier-1、Tier-2、Tier-3 に分かれており、ローカルインターネットプロバイダー (Tier-3) のクライアントが原則として一般ユーザーである場合、たとえば Tier-1 はレベルのオペレーターはクライアントは他のオペレーターです。 Tier-3 通信事業者は加入者のトラフィックを集約し、Tier-2 通信事業者は Tier-3 通信事業者のトラフィックを集約し、Tier-1 (すべてのインターネットトラフィック) を集約します。

概略的には次のように表すことができます。

この図は、トラフィックが下から上に集約されていることを示しています。エンドユーザーからティア1オペレーターまで。互いにほぼ同等の AS 間でのトラフィックの水平交換も行われます。

この方式の不可欠な部分であると同時に欠点は、地理的領域内でエンドユーザーに近い位置にある自律システム間の接続が混乱することです。以下の図を考えてみましょう。

大都市に 5 つの通信事業者があり、何らかの理由でそれらの間のピアリングが上記のように組織されていると仮定します。

Go ISP に接続しているユーザー Petya が、ASM プロバイダーに接続されているサーバーにアクセスしたい場合、それらの間のトラフィックは 5 つの自律システムを強制的に通過することになります。これにより遅延が増加します。トラフィックが通過するネットワークデバイスの数が増加し、Go と ASM の間の自律システム上の通過トラフィックの量も増加します。

トラフィックが強制的に通過するトランジット AS の数を減らすにはどうすればよいですか? そう、交通交流ポイントです。

現在、新しい IXP の出現は、90 年代から 2000 年代初頭と同じニーズによって推進されていますが、通信事業者、ユーザー、トラフィックの数の増加、CDN ネットワークによって生成されるコンテンツの量の増加に対応して、規模は縮小しています。そしてデータセンター。

交換ポイントとは何ですか？

トラフィック交換ポイントは、相互トラフィック交換に関心のある参加者が相互ピアリングを組織する特別なネットワークインフラストラクチャを備えた場所です。トラフィック交換ポイントの主な参加者は、通信事業者、インターネットプロバイダー、コンテンツプロバイダー、データセンターです。交通交換ポイントでは、参加者同士が直接接続します。これにより、次の問題を解決できます。

レイテンシを短縮し、
交通量を減らし、
AS間のルーティングを最適化します。

IXP が世界中の多くの大都市に存在していることを考えると、これはすべてインターネット全体に有益な効果をもたらします。

Petya に関する上記の状況を IXP を使用して解決すると、次のようになります。

トラフィック交換ポイントはどのように機能しますか?

原則として、IXP はパブリック IPv4/IPv6 アドレスの独自のブロックを持つ別個の AS です。

IXP ネットワークは、ほとんどの場合、連続的な L2 ドメインで構成されます。場合によっては、これはすべての IXP クライアントをホストする単なる VLAN であることがあります。大規模で地理的に分散された IXP の場合、MPLS、VXLAN などのテクノロジーを使用して L2 ドメインを構成できます。

IXP 要素

SKS。 ここには、ラック、光クロスコネクト、パッチパネルなど、珍しいものは何もありません。
スイッチ – IXPの基礎。スイッチポートは、IXP ネットワークへのエントリポイントです。スイッチはセキュリティ機能の一部も実行し、IXP ネットワーク上に存在すべきではないジャンクトラフィックをフィルタリングします。原則として、スイッチは、信頼性、サポートされているポート速度、セキュリティ機能、sFlow サポートなどの機能要件に基づいて選択されます。
ルートサーバー(RS) – 現代の交通交換ポイントの不可欠かつ必要な部分。動作原理は、iBGP のルートリフレクタまたは OSPF の指定ルーターと非常に似ており、同じ問題を解決します。トラフィック交換ポイントの参加者の数が増えると、各参加者がサポートする必要がある BGP セッションの数も増加します。これは、iBGP の古典的なフルメッシュトポロジを思い出させます。 RS は、次の方法で問題を解決します。RS は、関心のある各 IXP 参加者との BGP セッションを確立し、その参加者が RS クライアントになります。 RS は、クライアントの XNUMX つから BGP アップデートを受信すると、このアップデートを受信したクライアントを除く他のすべてのクライアントにこのアップデートを送信します。したがって、RS はすべての IXP メンバー間でフルメッシュを確立する必要性を排除し、スケーラビリティの問題をエレガントに解決します。ルートサーバーは、BGP によって送信される属性を変更せずに、ある AS から別の AS にルートを透過的に送信することに注意してください。たとえば、AS 内の番号を AS パスに追加しません。また、RS にはルートの基本的なフィルタリングがあります。たとえば、RS は火星のネットワークと IXP 自体のプレフィックスを受け入れません。
オープンソースソフトウェアルーターである BIRD (バードインターネットルーティングデーモン) は、ルートサーバーソリューションとしてよく使用されます。これの良い点は、無料で、ほとんどの Linux ディストリビューションに迅速に導入でき、ルーティング/フィルタリングポリシーを設定するための柔軟なメカニズムがあり、コンピューティングリソースを必要としないことです。また、Cisco、Juniper などのハードウェア/仮想ルータを RS として選択できます。
セキュリティ。 IXP ネットワークは多数の AS が集中しているため、すべての参加者が従う必要があるセキュリティポリシーを適切に作成する必要があります。一般に、IXP 外部の XNUMX つの別個の BGP ピア間に BGP 隣接関係を確立するときに適用される同じメカニズムがすべてここに適用され、さらにいくつかの追加のセキュリティ機能が適用されます。
たとえば、事前にネゴシエートした、IXP 参加者の特定の MAC アドレスからのトラフィックのみを許可することをお勧めします。 0x0800(IPv4)、0x08dd(IPv6)、0x0806(ARP) 以外の ethertype フィールドを持つトラフィックを拒否します。これは、BGP ピアリングに属さないトラフィックをフィルタリングして除外するために行われます。 GTSM、RPKI などのメカニズムも使用できます。

おそらく上記は、規模に関係なく、IXP の主要コンポーネントです。もちろん、大規模な IXP には追加のテクノロジーやソリューションが導入されている可能性があります。
IXP は参加者に追加のサービスも提供します。

IXP TLD DNS サーバーに配置され、
ハードウェア NTP サーバーをインストールし、参加者が正確に時刻を同期できるようにします。
DDoS 攻撃などに対する保護を提供します。

どのように動作します

EVE-NG を使用してモデル化された単純な IXP の例を使用してトラフィック交換ポイントの動作原理を見てから、BIRD ソフトウェアルーターの基本セットアップを検討してみましょう。図を簡略化するために、冗長性や耐障害性などの重要なものを省略します。

ネットワークトポロジを次の図に示します。

小規模な交換ポイントを管理し、次のピアリングオプションを提供すると仮定します。

パブリックピアリング、
プライベートピアリング、
ルートサーバー経由のピアリング。

当社の AS 番号は 555 で、当社は IPv4 アドレスのブロック (50.50.50.0/24) を所有しており、そこから当社のネットワークに接続したいユーザーに IP アドレスを発行します。

50.50.50.254 – ルートサーバーインターフェイスに設定された IP アドレス。この IP を使用すると、クライアントは RS 経由でピアリングする場合に BGP セッションを確立します。

また、RS 経由のピアリングについては、BGP コミュニティに基づいたシンプルなルーティングポリシーを開発しました。これにより、IXP 参加者は、誰にどのルートを送信するかを制御できます。

BGP コミュニティ
説明

LOCAL_AS:PEER_AS
プレフィックスを PEER_AS にのみ送信する

LOCAL_AS:IXP_AS
すべての IXP 参加者にプレフィックスを転送します

3 つのクライアントが IXP に接続してトラフィックを交換したいと考えています。これらがインターネットプロバイダーだとしましょう。彼らは皆、ルートサーバーを介したピアリングを組織したいと考えています。以下は、クライアント接続パラメータを含む図です。

クライアント
顧客 AS 番号
クライアントがアドバタイズするプレフィックス
IXPに接続するためにクライアントに発行されるIPアドレス

ISP #1
100 AS
1.1.0.0/16
50.50.50.10/24

ISP #2
200 AS
2.2.0.0/16
50.50.50.20/24

ISP #3
300 AS
3.3.0.0/16
50.50.50.30/24

クライアントルーターでの基本的な BGP セットアップ:

router bgp 100
 no bgp enforce-first-as
 bgp log-neighbor-changes
 neighbor 50.50.50.254 remote-as 555
address-family ipv4
  network 1.1.0.0 mask 255.255.0.0
  neighbor 50.50.50.254 activate
  neighbor 50.50.50.254 send-community both
  neighbor 50.50.50.254 soft-reconfiguration inbound
  neighbor 50.50.50.254 route-map ixp-out out
 exit-address-family

ip prefix-list as100-prefixes seq 5 permit 1.1.0.0/16
route-map bgp-out permit 10
 match ip address prefix-list as100-prefixes
 set community 555:555

ここで no bgp enforce-first-as 設定に注目する価値があります。デフォルトでは、BGP では、受信した BGP アップデートの as-path に、アップデートの受信元ピアの as bgp 番号が含まれている必要があります。ただし、ルートサーバーは as-path に変更を加えないため、その番号は as-path に含まれず、更新は破棄されます。この設定は、ルーターにこのルールを無視させるために使用されます。

また、クライアントが bgp コミュニティ 555:555 をこのプレフィックスに設定していることもわかります。これは、ポリシーによれば、クライアントがこのプレフィックスを他のすべての参加者にアドバタイズしたいことを意味します。

他のクライアントのルーターの場合も、固有のパラメーターを除き、設定は同様になります。

BIRD 構成の例:

define ixp_as = 555;
define ixp_prefixes = [ 50.50.50.0/24+ ];

template bgp RS_CLIENT {
  local as ixp_as;
  rs client;
}

以下では、火星のプレフィックスと IXP 自体のプレフィックスを受け入れないフィルターについて説明します。

function catch_martians_and_ixp()
prefix set martians;
prefix set ixp_prefixes;
{
  martians = [ 
  0.0.0.0/8+,
  10.0.0.0/8+,
  100.64.0.0/10+,
  127.0.0.0/8+,
  169.254.0.0/16+,
  172.16.0.0/12+,
  192.0.0.0/24+,
  192.0.2.0/24+,
  192.168.0.0/16+,
  198.18.0.0/15+,
  198.51.100.0/24+,
  203.0.113.0/24+,
  224.0.0.0/4+,
  240.0.0.0/4+ ];

  if net ~ martians || net ~ ixp_prefixes then return false;

  return true;
}

この関数は、前に説明したルーティングポリシーを実装します。

function bgp_ixp_policy(int peer_as)
{
  if (ixp_as, ixp_as) ~ bgp_community then return true;
  if (ixp_as, peer_as) ~ bgp_community then return true;

  return false;
}

filter reject_martians_and_ixp
{
  if catch_martians_and_ixp() then reject;
  if ( net ~ [0.0.0.0/0{25,32} ] ) then {
    reject;
  }
  accept;


}

ピアリングを構成し、適切なフィルターとポリシーを適用します。

protocol as_100 from RS_CLIENT {
  neighbor 50.50.50.10 as 100;
  ipv4 {
    export where bgp_ixp_policy(100);
    import filter reject_martians_and_ixp;
  }
}

protocol as_200 from RS_CLIENT {
  neighbor 50.50.50.20 as 200;
  ipv4 {
    export where bgp_ixp_policy(200);
    import filter reject_martians_and_ixp;
  }
}

protocol as_300 from RS_CLIENT {
  neighbor 50.50.50.30 as 300;
  ipv4 {
    export where bgp_ixp_policy(300);
    import filter reject_martians_and_ixp;
  }
}

ルートサーバーでは、異なるピアからのルートを異なる RIB に配置することをお勧めします。 BIRD を使用すると、これが可能になります。この例では、簡単にするために、すべてのクライアントから受信したすべての更新が XNUMX つの共通 RIB に追加されます。

それでは、何が得られたかを確認してみましょう。

ルートサーバーでは、XNUMX つのクライアントすべてとの BGP セッションが確立されていることがわかります。

すべてのクライアントからプレフィックスを受信していることがわかります。

as 100 ルーターでは、ルートサーバーとの BGP セッションが 200 つしかない場合、クライアント間のピアリングが直接実行されたかのように、BGP 属性は変更されていない一方で、as 300 と as XNUMX の両方からプレフィックスを受信していることがわかります。

したがって、ルートサーバーの存在により、IXP でのピアリングの構成が大幅に簡素化されることがわかります。

このデモが、IXP がどのように機能するか、また IXP 上でルートサーバーがどのように機能するかをよりよく理解するのに役立つことを願っています。

リンクスデータセンター IX

Linxdatacenter では、2 つのスイッチと 2 つのルートサーバーのフォールトトレラントインフラストラクチャに基づいて独自の IXP を構築しました。現在、IXP はテストモードで実行されています。皆さんも Linxdatacenter IX に接続してテストに参加してください。接続すると、帯域幅 1 Gbit/s のポート、ルートサーバーを介してピアリングできる機能が提供されるほか、次の Web サイトから入手できる IX ポータルの個人アカウントにアクセスできます。 ix.linxdatacenter.com.

テストにアクセスするには、コメントまたはプライベートメッセージに書き込んでください。

出力

トラフィック交換ポイントは、インターネットの黎明期に、通信事業者間の最適ではないトラフィックフローの問題を解決するツールとして誕生しました。現在、新しいグローバルサービスの出現と CDN トラフィック量の増加に伴い、エクスチェンジポイントはグローバルネットワークの運用を最適化し続けています。世界中で IXP の数が増加することは、サービスのエンドユーザーと通信事業者、コンテンツオペレータなどの両方に利益をもたらします。 IXP 参加者にとっての利点は、外部ピアリングの組織化にかかるコストの削減、上位レベルのオペレータが支払わなければならないトラフィック量の削減、ルーティングの最適化、およびコンテンツオペレータとの直接インターフェイスを持つ機能に表れます。

便利なリンク集

交通交換ポイントの場所の地図を表示します。 www.internetexchangemap.com
IXP 上の存在を含む、BGP ピアリングに関する詳細な統計を表示します。 www.peeringdb.com

出所： habr.com

トラフィック交換ポイント: オリジンから独自の IX の作成まで

歴史を少し

インターネットと私たちの時代

交換ポイントとは何ですか？

トラフィック交換ポイントはどのように機能しますか?

IXP 要素

どのように動作します

クライアントルーターでの基本的な BGP セットアップ:

BIRD 構成の例:

リンクスデータセンター IX

出力

便利なリンク集

コメントを追加します返信をキャンセル

トラフィック交換ポイント: オリジンから独自の IX の作成まで

歴史を少し

インターネットと私たちの時代

交換ポイントとは何ですか？

トラフィック交換ポイントはどのように機能しますか?

IXP 要素

どのように動作します

クライアントルーターでの基本的な BGP セットアップ:

BIRD 構成の例:

リンクスデータセンター IX

出力

便利なリンク集

コメントを追加します 返信をキャンセル

コメントを追加します返信をキャンセル