コメントに対する詳細な返答と、ロシア連邦におけるプロバイダーの生活についての少し

この投稿への誘導 これがコメントです.

ここに引用します：

ケールマン 今日の18：53

今日のプロバイダーには満足しました。 サイトブロッキングシステムの更新に伴い、メーラーmail.ruも禁止され、朝からテクニカルサポートに電話しましたが、何も対応してもらえません。 このプロバイダーは規模が小さく、上位のプロバイダーがブロックしているようです。 また、すべてのサイトを開くのが遅くなっていることに気付きました。おそらく、ある種の不正な DLP がインストールされているのではないでしょうか? 以前はアクセスに問題はありませんでした。 RuNetの破壊が目の前で起こっている…。

実際のところ、私たちは同じプロバイダーであるようです:)

本当に ケールマン mail.ru の問題の原因はほぼ推測できました (私たちは長い間そのようなことを信じることを拒否していましたが)。

以下の内容は XNUMX つの部分に分かれています。

1. mail.ru に関する現在の問題の理由と、それを見つけるためのエキサイティングな探求
2. 今日の現実における ISP の存在、主権を持つ RuNet の安定性。

mail.ru のアクセシビリティの問題

ああ、かなり長い話ですね。

実際のところ、州の要件 (詳細は後半で説明します) を実装するために、禁止されているリソースのフィルタリングと実装の両方のために、いくつかの機器を購入、構成、設置しました。 NAT 変換 購読者。

少し前に、すべての加入者トラフィックがこの装置を厳密に正しい方向に通過するように、ネットワーク コアをついに再構築しました。

数日前、私たちは（古いシステムを動作させたままにして）禁止されたフィルタリングをオンにしました。すべてが順調に進んでいるように見えました。

次に、加入者のさまざまな部分に対して、この装置で NAT を徐々に有効にし始めました。 見たところ、すべてがうまくいっているように見えました。

しかし今日、次の部分の加入者の機器で NAT を有効にしたため、朝から、利用不能または部分的に利用可能であるというかなりの数の苦情に直面しました。 mail.ru およびその他の Mail Ru グループのリソース。

彼らはチェックし始めました：どこかに何かがある 時々, たまに 送信します TCP RST mail.ru ネットワークへのリクエストのみに応答します。 さらに、誤って生成された (ACK なしで) 明らかに人為的な TCP RST を送信します。 見た目はこんな感じでした。

当然のことながら、最初に考えたのは新しい機器についてでした。ひどい DPI、信頼できない、何ができるかわかりません。結局のところ、TCP RST はブロッキング ツールの中でかなり一般的なものです。

仮定 ケールマン 私たちはまた、「上位」の誰かがフィルタリングしているという考えを提案しましたが、それはすぐに破棄されました。

まず、私たちは十分に健全なアップリンクを持っているので、このような被害に遭う必要はありません:)

第二に、私たちはいくつかのネットワークに接続されています。 IX モスクワでは、mail.ru へのトラフィックはそれらを経由します。そして、彼らにはトラフィックをフィルタリングする責任も動機もありません。

次の半日は、通常シャーマニズムと呼ばれるものに費やされました。機器ベンダーと一緒に、彼らは諦めなかったことに感謝します:)

• フィルタリングが完全に無効になっていました
• 新しいスキームを使用して NAT が無効になりました
• テスト PC は別の隔離されたプールに配置されました
• IPアドレスが変更されました

午後には、通常のユーザーのスキームに従ってネットワークに接続する仮想マシンが割り当てられ、ベンダーの代表者がその仮想マシンと機器へのアクセスを許可されました。 シャーマニズムは続きました:)

最終的に、ベンダーの代表者は、ハードウェアはまったく関係がないと自信を持って述べました。最初のものはどこかより高いところから来たものです。

注意この時点で、誰かがこう言うかもしれません: しかし、テスト PC からではなく、DPI を超える高速道路からダンプを取得する方がはるかに簡単でした?

いいえ、残念ながら、40 GBps 以上のダンプを取得する (さらにはミラーリングするだけでも) ことは決して簡単ではありません。

この後、夕方になると、上のどこかで奇妙な濾過が行われているという想定に戻るしかありませんでした。

MRG ネットワークへのトラフィックが現在どの IX を通過しているかを確認し、その IX への bgp セッションを単にキャンセルしました。 そして - 見よ！ - すべてがすぐに正常に戻りました 🙁

一方で、問題は XNUMX 分で解決したにもかかわらず、丸 XNUMX 日その問題の検索に費やされたのは残念です。

一方、

—私の記憶では、これは前例のないことです。 すでに上に書いたように - IX 本当に 通過トラフィックをフィルタリングしても意味がありません。 通常、毎秒数百ギガビット/テラビットの速度があります。 私は最近までこのようなことを真剣に想像できませんでした。

— 信じられないほど幸運な状況の偶然の一致: 特に信頼されておらず、何が期待できるか明確ではない新しい複雑なハードウェア — TCP RST を含むリソースをブロックするために特別に調整された

このインターネット交換局の NOC は現在、問題を調査中です。 彼らによると（私もそう信じていますが）、特別に配備された濾過システムは持っていないとのことです。 しかし、ありがたいことに、さらなる探求はもはや私たちの問題ではありません:)

これは自分を正当化するための小さな試みでした、理解して許してください:)

PS: 私は意図的に DPI/NAT または IX のメーカー名を出しません (実際、それらについて特別な不満さえ持っていません。重要なのは、それが何であったかを理解することです)

インターネットプロバイダーの視点から見た今日（および昨日、一昨日）の現実

私はここ数週間、ネットワークのコアを大幅に再構築することに費やし、実際のユーザー トラフィックに大きな影響を与えるリスクを伴う「営利目的」の一連の操作を実行してきました。 これらすべての目標、結果、結果を考えると、道徳的には非常に困難です。 特に、ルーネットの安定性や主権などを守ることについての美しいスピーチをもう一度聞くことができました。 等々。

このセクションでは、過去 XNUMX 年間にわたる一般的な ISP のネットワーク コアの「進化」について説明してみます。

XNUMX年前。

このような恵まれた時代には、プロバイダー ネットワークのコアは渋滞と同じくらいシンプルで信頼性が高くなります。

この非常に単純化された図では、トランク、リング、IP/MPLS ルーティングはありません。

その本質は、ユーザー トラフィックが最終的にカーネル レベルのスイッチングに到達し、そこからどこへ行くかということです。 BNG、そこから、原則として、コアスイッチングに戻り、次に「アウト」、つまり XNUMX つ以上の境界ゲートウェイを介してインターネットに接続されます。

このようなスキームは、L3 (動的ルーティング) と L2 (MPLS) の両方で非常に簡単に予約できます。

アクセス サーバー、スイッチ、ボーダーなど、あらゆるものを N+1 個インストールして、それらを自動フェイルオーバー用に何らかの方法で予約できます。

数年後 このような生活はもはや不可能であることが、ロシア国民の誰にとっても明らかになりました。インターネットの有害な影響から子供たちを守ることが緊急に必要でした。

ユーザー トラフィックをフィルタリングする方法を早急に見つける必要がありました。

ここにはさまざまなアプローチがあります。

あまり良くないケースでは、ユーザー トラフィックとインターネットの間の「隙間」に何かが置かれます。 この「何か」を通過するトラフィックが分析され、たとえば、リダイレクトを伴う偽のパケットが加入者に向けて送信されます。

トラフィック量が許せば、もう少し良いケースとして、耳を使った小さなトリックを行うことができます。ユーザーから発信されたトラフィックのみをフィルタリングするために、フィルタリングが必要なアドレスにのみ送信します (これを行うには、IP アドレスを取得するか、レジストリからそこに指定されるか、レジストリ内の既存のドメインを追加で解決します)。

かつて、これらの目的のために、私は簡単なコードを書きました ミニdpi -私は彼をそう呼ぶ勇気さえありませんが。 これは非常にシンプルで、あまり生産的ではありませんが、これにより、私たちと他の数十 (数百とは言わないまでも) のプロバイダーがすぐに産業用 DPI システムに数百万ドルを投じることはなく、さらに数年の時間を与えることができました。

ちなみに当時と現在のDPIについてちなみに、当時市販されていたDPIシステムを購入した人の多くはすでに捨てていました。 そうですね、これらは何十万ものアドレス、何万もの URL を扱うために設計されていません。

そして同時に、国内生産者もこの市場に非常に力強く参入してきました。 私はハードウェア コンポーネントについて話しているのではありません - ここにいる誰にとってもすべてが明らかですが、ソフトウェア - DPI が備えている主要なもの - はおそらく今日、世界で最も先進的ではないにしても、確かに a) 飛躍的な発展を遂げています。 b) 箱入り製品の価格 - 外国の競合他社とは比べものになりません。

誇りに思いますが、少し悲しいです =)

これで、すべてが次のようになりました。

あと数年以内に 誰もがすでに監査役を持っています。 レジストリ内のリソースはますます増えていました。 一部の古い機器（Cisco 7600 など）では、「サイド フィルタリング」スキームが単純に適用できなくなりました。76 のプラットフォーム上のルート数は約 4 万に制限されていますが、今日の IPv800 ルートだけでも 6 に近づいています。千。 それも ipv900000 なら… それから…​​ いくらくらいですか? RKN禁止の対象となる個人アドレスXNUMX万件? =)

誰かが、すべてのバックボーン トラフィックをフィルタリング サーバーにミラーリングするスキームに切り替えました。これにより、フロー全体が分析され、何か問題が見つかった場合は RST が両方向 (送信者と受信者) に送信されます。

ただし、トラフィックが増えると、このスキームの適用性が低くなります。 処理にわずかな遅れがあると、ミラーリングされたトラフィックは気付かれずに通り過ぎてしまい、プロバイダーは詳細なレポートを受け取ることになります。

高速道路全体にさまざまな信頼性の DPI システムを設置することを余儀なくされているプロバイダーが増えています。

XNUMX年かXNUMX年前 噂によると、ほぼすべてのFSBが実際の機器の設置を要求し始めた SORM (以前は、ほとんどのプロバイダーは当局の承認を得て管理していました) SORM計画 - どこかで何かを見つける必要がある場合の運用措置の計画）

SORM では、金銭 (決して法外ではありませんが、それでも数百万ドル) に加えて、ネットワークを使用したさらに多くの操作が必要でした。

• SORM は、NAT 変換の前に「グレー」ユーザー アドレスを確認する必要があります
• SORM のネットワーク インターフェイスの数は限られています

したがって、特に、アクセス サーバーへのユーザー トラフィックを XNUMX か所に収集するために、カーネルの一部を大幅に再構築する必要がありました。 複数のリンクを使用して SORM にミラーリングするため。

つまり、非常に単純化すると、(左) と (右) になりました。

今 ほとんどのプロバイダーは、SORM-3 の実装も必要とします。これには、特に、nat ブロードキャストのログ記録が含まれます。

これらの目的のために、上の図に NAT 用の別の機器を追加する必要もありました (まさに最初の部分で説明したもの)。 さらに、特定の順序で追加します。SORM はアドレスを変換する前にトラフィックを「確認」する必要があるため、トラフィックは厳密に次のように進む必要があります: ユーザー -> スイッチング、カーネル -> アクセス サーバー -> SORM -> NAT -> スイッチング、カーネル - > インターネット。 これを行うには、利益を得るために交通の流れを文字通り反対方向に「変える」必要がありましたが、これもまた非常に困難でした。

要約すると、過去 XNUMX 年間で、平均的なプロバイダーのコア設計は何倍も複雑になり、追加の障害点 (機器の形式と単一の交換回線の形式の両方) が大幅に増加しました。 実際、「すべてを見る」という要件自体が、この「すべて」を XNUMX 点に還元することを意味します。

これは、Runet を主権化し、保護し、安定させ、改善するための現在の取り組みに非常に明白に当てはめることができると思います:)

そしてヤロヴァヤはまだ先を行っている。

出所： habr.com