私の未完成のプロジェクト。 200 台の MikroTik ルーターのネットワーク

こんにちは、みんな。この記事は、多数の Mikrotik デバイスを所有しており、各デバイスに個別に接続せずに最大限の統合を実現したいと考えている方を対象としています。この記事では、残念ながら人的要因により戦闘条件に達しなかったプロジェクトについて説明します。簡単に言うと、200 台を超えるルーター、迅速なセットアップとスタッフのトレーニング、地域ごとの統合、ネットワークと特定のホストのフィルタリング、すべてのデバイスにルールを簡単に追加する機能、ログ記録とアクセス制御です。

以下に説明する内容は、すぐに使えるケースではありませんが、ネットワークを計画し、エラーを最小限に抑える際に役立つことを願っています。おそらく、いくつかの点や解決策はあなたにとっては正しくないと思われるかもしれません。その場合は、コメントに書いてください。この場合の批判は、公共の利益のための経験となるでしょう。したがって、読者の皆さん、コメントを見てください。おそらく著者は大きな間違いを犯したのでしょう。コミュニティが助けてくれるでしょう。

ルーターの数は 200 ～ 300 台で、インターネット接続の品質が異なるさまざまな都市に分散しています。すべてを美しくし、すべてがどのように機能するかをローカル管理者に明確に説明する必要があります。

では、プロジェクトはどこから始まるのでしょうか?もちろん、 TK.

1. 顧客の要件、ネットワークのセグメント化（デバイスの数に応じてブランチ内の 3 ～ 20 のネットワーク）に応じて、すべてのブランチのネットワーク プランを編成します。
2. 各ブランチにデバイスをセットアップします。さまざまな動作条件下でのプロバイダーの実際の帯域幅速度を確認します。
3. デバイス保護の組織化、ホワイトリスト管理、一定期間の自動ブラックリストによる攻撃の自動検出、制御アクセスの傍受やサービスの拒否に使用されるさまざまな技術手段の使用の最小化。
4. 顧客の要件に応じてネットワーク フィルタリングを備えた安全な VPN 接続を構成します。各ブランチからセンターへの VPN 接続は最低 3 つ。
5. ポイント 1、2 に基づいて、フォールト トレラント VPN を構築するための最適な方法を選択します。実行者は、正しい根拠に基づいて動的ルーティング テクノロジを選択できます。
6. 顧客が使用するプロトコル、ポート、ホスト、その他の特定のサービス別にトラフィックの優先順位を整理します。 （VOIP、重要なサービスを提供するホスト）
7. テクニカル サポート スタッフによる対応のために、ルーターのイベントの監視とログ記録を組織します。

弊社の理解するところによると、多くの場合、技術仕様は要件に基づいています。私は主な問題を聞いた後、これらの要件を自分で定式化しました。他の誰かがこれらの点の実装を引き受ける可能性を考慮しました。

これらの要件を満たすために使用されるツール:

1. ELK スタック (しばらくすると、logstash の代わりに fluentd が使用されることが明らかになりました)。
2. アンシブル。管理とアクセス共有を容易にするために、AWX を使用します。
3. ギットラボ。これについては説明する必要はありません。構成のバージョン管理がなければどうなるでしょうか?
4. パワーシェル。構成の初期生成用の簡単なスクリプトがあります。
5. ドキュメントやガイドを書くための Doku wiki。この場合は、habr.com を使用します。
6. 監視はzabbix経由で行われます。全体的な理解のために接続図も描かれています。

EFK設定ポイント

最初の点に関しては、指標を構築する際の考え方についてのみ説明します。沢山あります
mikrotik を実行しているデバイスの設定とログの受信に関する優れた記事。

いくつかの点について詳しく述べたいと思います。

1. スキームによれば、異なる場所や異なるポートからログを受信することを検討する価値があります。このために、ログ アグリゲータを使用します。また、アクセスを分離する機能を備えたすべてのルーター用のユニバーサル グラフを作成したいと考えています。次に、次のようにインデックスを構築します。

ここにfluentdの設定の一部があります タイプ elasticsearch
ログスタッシュフォーマットが真
インデックス名 mikrotiklogs.north
logstash_prefix mikrotiklogs.north
フラッシュ間隔 10秒
ホスト エラスティックサーチ：9200
ポート9200

このようにして、ルーターを組み合わせて、計画に従ってセグメント化することができます（mikrotiklogs.west、mikrotiklogs.south、mikrotiklogs.east）。なぜそんなに複雑にするのでしょうか?デバイスは 200 台以上になるものと認識しています。すべてを追跡するのは不可能です。 elasticsearch バージョン 6.8 以降では、セキュリティ設定にアクセスできる (ライセンスを購入しなくても) ため、テクニカル サポート スタッフまたはローカル システム管理者間で表示権限を配布できます。
表やグラフについては、同じものを使用するか、各自が最も使いやすい方法で使用するか、合意する必要があります。

2. ログについて。ファイアウォール ルールでログ記録を有効にする場合は、スペースのない名前を作成します。 fluentd の簡単な設定を使用することで、データをフィルタリングし、便利なパネルを作成できることは明らかです。下の写真は私の自宅のルーターです。

3. 占有スペースと丸太によって。平均すると、1000 時間あたり 2 件のメッセージの場合、ログは 3 日あたり 7.5 ～ XNUMX MB を占有しますが、これはそれほど多くないと言えます。 Elasticsearch バージョン XNUMX。

アンシブルAWX

幸運なことに、ルーター用の既製のモジュールがあります
私は AWX を指定しましたが、以下のコマンドは純粋な形式の Ansible に関するものだけです。Ansible を使用したことがある人にとっては、GUI 経由で awx を使用しても問題はないと思います。

正直に言うと、この前に私は ssh が使用されている他のガイドを見ましたが、応答時間やその他の多くの問題に関して、誰もがそれぞれ異なる問題を抱えていました。繰り返しますが、戦闘にはなりませんでした 。この情報は、20 台のルーターのスタンドを超えない実験として受け止めてください。

証明書またはアカウントを使用する必要があります。それはあなた次第です。私は証明書に賛成です。権利に関する微妙な点。書き込み権限を与えると、「構成のリセット」も機能しません。

証明書の生成、コピー、インポートに問題は発生しないはずです。

コマンドの簡単なリストPCで
ssh-keygen -t RSA、質問に答えてキーを保存します。
mikrotik にコピー:
ユーザーのsshキーをインポートし、公開鍵ファイルをid_mtx.pubでユーザーをansibleに変更します。
まず、アカウントを作成し、それに権限を割り当てる必要があります。
証明書を使用して接続を確認する
ssh -p 49475 -i /keys/mtx ansible@192.168.0.120

vi /etc/ansible/hosts と入力します
MT01 ansible_network_os=routeros ansible_ssh_port=49475 ansible_ssh_user= ansible
MT02 ansible_network_os=routeros ansible_ssh_port=49475 ansible_ssh_user= ansible
MT03 ansible_network_os=routeros ansible_ssh_port=49475 ansible_ssh_user= ansible
MT04 ansible_network_os=routeros ansible_ssh_port=49475 ansible_ssh_user= ansible

さて、プレイブックの例は次のとおりです。 — 名前: add_work_sites
ホスト: testmt
シリアル: 1
接続: network_cli
リモートユーザー: mikrotik.west
事実収集: はい
タスク：
— 名前: Work_sites を追加
ルートコマンド:

— /ip ファイアウォール アドレスリストを追加 アドレス=gov.ru リスト=work_sites コメント=Ticket665436_Ochen_nado
— /ip ファイアウォール アドレスリスト 追加 アドレス=habr.com リスト=work_sites コメント=for_habr

上記の構成からわかるように、独自のプレイブックを作成するのは難しくありません。 cli mikrotik を上手にマスターすれば十分です。すべてのルーターで特定のデータを含むアドレス リストを削除する必要がある状況を想像してみましょう。

検索して削除/ip ファイアウォール アドレスリスト削除 [list="gov.ru" の場所を検索]

ファイアウォールのリスト全体をここに意図的に挿入しなかったのは、プロジェクトごとに個別になるためです。しかし、確実に言えることは、アドレス リストのみを使用するということです。

GITLAB についてはすべてが明確です。この点についてはこれ以上詳しく述べません。すべてが個別のタスク、テンプレート、ハンドラーで美しく表示されます。

PowerShell

ここには 3 つのファイルがあります。なぜ PowerShell なのか?設定を生成するためのツールは、自分にとって便利なものならどれでも選択できます。この場合、誰もが PC に Windows をインストールしているので、PowerShell の方が便利なのに、なぜ bash でやるのでしょうか。あなたにとって都合の良いものなら何でもいいです。

スクリプト自体（シンプルで明確）：[cmdletBinding()]
パラメータ(
[パラメーター(必須=$true)]
[string]$EXTERNALIPADDRESS、
[パラメーター(必須=$true)]
[string]$EXTERNALIPROUTE、
[パラメーター(必須=$true)]
[string]$BWorknets、
[パラメーター(必須=$true)]
[string]$CWorknets、
[パラメーター(必須=$true)]
[string]$BVoipNets、
[パラメーター(必須=$true)]
[string]$CVoipNets、
[パラメーター(必須=$true)]
[string]$CClientss、
[パラメーター(必須=$true)]
[string]$BVPNWORKs、
[パラメーター(必須=$true)]
[string]$CVPNWORKs、
[パラメーター(必須=$true)]
[string]$BVPNCLIENTSs、
[パラメーター(必須=$true)]
[string]$cVPNCLIENTSs、
[パラメーター(必須=$true)]
[string]$NAMEROUTER、
[パラメーター(必須=$true)]
[string]$ServerCertificates、
[パラメーター(必須=$true)]
[string]$infile、
[パラメーター(必須=$true)]
[string]$outfile
)

Get-Content $infile | Foreach オブジェクト {$_.Replace("EXTERNIP", $EXTERNALIPADDRESS)} |
Foreach オブジェクト {$_.Replace("EXTROUTE", $EXTERNALIPROUTE)} |
Foreach オブジェクト {$_.Replace("BWorknet", $BWorknets)} |
Foreach オブジェクト {$_.Replace("CWorknet", $CWorknets)} |
Foreach オブジェクト {$_.Replace("BVoipNet", $BVoipNets)} |
Foreach オブジェクト {$_.Replace("CVoipNet", $CVoipNets)} |
Foreach オブジェクト {$_.Replace("CClients", $CClientss)} |
Foreach オブジェクト {$_.Replace("BVPNWORK", $BVPNWORKs)} |
Foreach オブジェクト {$_.Replace("CVPNWORK", $CVPNWORKs)} |
Foreach オブジェクト {$_.Replace("BVPNCLIENTS", $BVPNCLIENTSs)} |
Foreach オブジェクト {$_.Replace("CVPNCLIENTS", $cVPNCLIENTSs)} |
Foreach オブジェクト {$_.Replace("MYNAMERROUTER", $NAMEROUTER)} |
Foreach オブジェクト {$_.Replace("ServerCertificate", $ServerCertificates)} | Set-Content $outfile

申し訳ありませんが、すべてのルールを投稿することはできません。あまり見栄えがよくないからです。ベストプラクティスに従って、自分でルールを作成できます。

たとえば、私がたどったリンクのリストは次のとおりです。wiki.mikrotik.com/wiki/マニュアル:ルーターのセキュリティ保護
wiki.mikrotik.com/wiki/マニュアル:IP/ファイアウォール/フィルター
wiki.mikrotik.com/wiki/マニュアル:OSPFの例
wiki.mikrotik.com/wiki/Drop_port_scanners
wiki.mikrotik.com/wiki/マニュアル:ウィンボックス
wiki.mikrotik.com/wiki/マニュアル:ルーターOSのアップグレード
wiki.mikrotik.com/wiki/マニュアル:IP/Fasttrack — ここで、Fasttrack が有効になっていると、優先順位付けとトラフィック シェーピングのルールが機能しないことを知っておく必要があります — 弱いデバイスに役立ちます。

変数の慣例的な表記法:以下のネットワークを例として挙げます。
192.168.0.0/24 動作ネットワーク
172.22.4.0/24 VOIPネットワーク
ローカルネットワークにアクセスできないクライアント用の 10.0.0.0/24 ネットワーク
192.168.255.0/24 大規模ブランチ向けVPNネットワーク
172.19.255.0/24 小規模向けVPNネットワーク

ネットワーク アドレスは 4 つの 192.168.0.0 進数 (それぞれ ABCD) で構成され、置換は同じ原理で機能します。起動時に B を要求された場合は、ネットワーク 24/0 の場合は番号 0、C の場合は番号 XNUMX を入力する必要があることを意味します。
$EXTERNALIPADDRESS — プロバイダーからの専用アドレス。
$EXTERNALIPROUTE — ネットワーク 0.0.0.0/0 へのデフォルトルート
$BWorknets — ワークネット。この例では168
$CWorknets — 作業ネットワーク。この例では 0 になります。
$BVoipNets — この例ではVOIPネットワーク 22
$CVoipNets — この例ではVOIPネットワーク4
$CClientss — クライアントのネットワーク – インターネットのみへのアクセス。この場合は 0 です。
$BVPNWORKs — 大規模ブランチ用のVPNネットワーク（例では20）
$CVPNWORKs — 大規模ブランチ用のVPNネットワーク（例では255）
$BVPNCLIENTS — 小規模ブランチ向けのVPNネットワーク、19
$CVPNCLIENTS — 小規模ブランチ向けのVPNネットワーク、つまり255
$NAMEROUTER — ルーター名
$ServerCertificate - 以前にインポートした証明書の名前
$infile — 設定を読み込むファイルへのパスを指定します。例: D:config.txt (引用符とスペースを含まない英語のパスが望ましい)
$outfile — 保存先のパスを指定します（例：D:MT-test.txt）

明らかな理由により、例の中の住所は意図的に変更しました。

攻撃や異常な動作を検出するという点については、説明が不足しています。これについては別の記事で詳しく説明する必要があります。ただし、このカテゴリでは、Zabbix からの監視データ値 + elasticsearch からの処理済み curl データを使用できることに注意してください。

どのような点に重点を置くべきでしょうか:

1. ネットワーク計画。すぐに読める形式で書き出すのが良いでしょう。 Excelで十分です。残念ながら、「新しいブランチが登場しました。/24 をご利用ください」という原則に従ってネットワークが作成されるのをよく見かけます。この場所にどれだけのデバイスが期待されるのか、さらに増加するのかどうかは誰も知りません。たとえば、小さな店舗がオープンし、当初はデバイスの数が 10 台以下であることは明らかだったのに、なぜ /24 を割り当てるのでしょうか。一方、大規模なブランチの場合は、/24 が割り当てられ、デバイスが 500 台あります。ネットワークを追加するだけで済みますが、すべてを一度に検討する必要があります。
2. フィルタリングルール。プロジェクトがネットワークの分離と最大限のセグメンテーションを想定している場合。ベストプラクティスは時間の経過とともに変化します。以前は、PC ネットワークとプリンタ ネットワークは分離されていましたが、現在ではこれらのネットワークを分離しないことがごく普通になっています。常識を働かせて、必要のない複数のサブネットを作成したり、すべてのデバイスを 1 つのネットワークに結合したりしないことが重要です。
3. すべてのルーターの「ゴールデン」設定。それらの。計画が決まったら。すべてをすぐに検討し、すべての設定が同一であることを確認する価値があります。アドレス リストと IP アドレスのみが異なります。問題が発生した場合でも、デバッグにかかる​​時間が短縮されます。
4. 組織的側面は技術的側面と同じくらい重要です。多くの場合、怠惰な従業員は、既成の構成やスクリプトを使用せずに「手動で」推奨事項に従いますが、最終的には予期せぬ問題が発生します。

動的ルーティングによる。ゾーン分割を備えた OSPF が使用されました。しかし、これはテストスタンドです。戦闘状況でそのようなものを設置する方が興味深いです。

ルーターの設定を投稿しなかったことで、誰も怒らなかったことを願います。リンクだけで十分だと思いますが、その後はすべて要件次第です。そしてもちろんテスト、さらに多くのテストが必要です。

新年には皆様のプロジェクトが実現されますようお祈り申し上げます。アクセスが許可されますように!!!

出所： habr.com