ELK はセキュリティ エンジニアが Web サイト攻撃と闘い、安らかに眠るのにどのように役立つか

当社のサイバー防御センターは、クライアントの Web インフラストラクチャのセキュリティを担当し、クライアント サイトへの攻撃を撃退します。 攻撃から保護するために、FortiWeb Web アプリケーション ファイアウォール (WAF) を使用します。 しかし、最も優れた WAF であっても万能薬ではなく、「すぐに使える」標的型攻撃から保護することはできません。 

したがって、WAF に加えて、 ELK。 すべてのイベントを XNUMX か所に収集し、統計を蓄積して視覚化し、標的型攻撃を適時に確認できるようにします。

今日は、WAF を使用してクリスマス ツリーをどのように乗り越えたのか、そしてその結果どうなったのかを詳しく説明します。

ある攻撃のストーリー: ELK に切り替える前にすべてがどのように機能したか

当社のクラウドでは、お客様は当社の WAF の背後にアプリケーションをデプロイしました。 10 日あたり 000 人から 100 人のユーザーがサイトに接続し、接続数は 000 日あたり 20 万人に達しました。 このうち 3 ～ 5 人のユーザーが侵入者であり、サイトをハッキングしようとしました。 

XNUMX つの IP アドレスからの通常の形式の総当たり攻撃は、FortiWeb によって非常に簡単にブロックされました。 サイトへの XNUMX 分あたりのアクセス数は、正規ユーザーのアクセス数よりも多かった。 XNUMX つのアドレスからアクティビティのしきい値を設定するだけで、攻撃を撃退できました。

攻撃者がゆっくりと動作し、通常のクライアントを装う「スローアタック」に対処することははるかに困難です。 彼らは多くの一意の IP アドレスを使用します。 このようなアクティビティは WAF にとって大規模な暴力とは思えず、自動的に追跡することはさらに困難でした。 また、一般ユーザーをブロックしてしまうリスクもありました。 私たちは攻撃の他の兆候を探し、この兆候に基づいて IP アドレスを自動的にブロックするポリシーを設定しました。 たとえば、多くの不正セッションには http リクエスト ヘッダーに共通のフィールドがありました。 多くの場合、FortiWeb イベント ログでそのようなフィールドを手動で検索する必要がありました。 

長くなって不快になりました。 FortiWeb の標準機能では、イベントは 3 つの異なるログ (検出された攻撃、リクエストに関する情報、WAF 動作に関するシステム メッセージ) にテキストで記録されます。 XNUMX 分間に数十、場合によっては数百の攻撃イベントが発生する可能性があります。

それほど多くはありませんが、いくつかのログを手動でたどり、多くの行を反復処理する必要があります。 

攻撃ログでは、ユーザーのアドレスとアクティビティの性質がわかります。 
 
ログテーブルをスキャンするだけでは十分ではありません。 攻撃の性質に関して最も興味深く役立つ情報を見つけるには、特定のイベントの内部を調べる必要があります。

ハイライト表示されたフィールドは、「遅い攻撃」を検出するのに役立ちます。 出典: からのスクリーンショット フォーティネットのサイト. 

そうですね、主な問題は、FortiWeb のスペシャリストだけがそれを理解できるということです。 営業時間内でも不審なアクティビティをリアルタイムで追跡できれば、夜間のインシデントの調査が遅れる可能性があります。 FortiWeb ポリシーが何らかの理由で機能しなかった場合、夜勤のエンジニアは WAF にアクセスできなければ状況を評価できず、FortiWeb スペシャリストを起こしました。 私たちは数時間にわたってログを調べ、攻撃の瞬間を見つけました。 

情報量が多いと、一目で全体像を理解し、主体的に行動することは困難です。 そこで、すべてを視覚的な形式で分析し、攻撃の始まりを見つけ、その方向とブロック方法を特定するために、データを XNUMX か所に収集することにしました。 

何が選ばれたのか

まず、エンティティを不必要に増やさないように、すでに使用されているソリューションを検討しました。

最初の選択肢の XNUMX つは、 Nagios監視に使用します エンジニアリングインフラストラクチャ, ネットワークインフラストラクチャ、緊急警報。 警備員も不審な交通があった場合に係員に通知するために使用していますが、散在するログを収集する方法が分からず、消滅してしまいます。 

すべてを集約するオプションがありました MySQL と PostgreSQL または別のリレーショナル データベース。 しかし、データを取り出すためには、アプリケーションを構築する必要がありました。 

当社のログコレクターとしても使用しています フォーティアナライザー フォーティネットから。 しかし、この場合、彼も適合しませんでした。 まず、ファイアウォールとの連携がより鮮明になります。 フォーティゲート。 次に、多くの設定が欠落しており、それを操作するには SQL クエリに関する優れた知識が必要でした。 そして第三に、その使用により顧客のサービスコストが増加する可能性があります。   

これが私たちがオープンソースに直面した経緯です ELK. 

エルクを選ぶ理由 

ELK はオープン ソース プログラムのセットです。

• Elasticsearch - 大量のテキストを処理するために作成された時系列データベース。
• ログスタッシュ – ログを目的の形式に変換できるデータ収集メカニズム。 
• 木場 - 優れたビジュアライザーであり、Elasticsearch を管理するための非常に使いやすいインターフェイスです。 これを使用して、夜間に当直エンジニアが監視できるスケジュールを作成できます。 

ELK の参入しきい値は低いです。 基本機能はすべて無料です。 幸福のために他に何が必要か。

すべてを XNUMX つのシステムにどのようにまとめたのですか?

インデックスを作成し、必要な情報だけを残す。 XNUMX つの FortiWEB ログすべてを ELK にロードしました。出力はインデックスでした。 これらは、ある期間 (たとえば、XNUMX 日) に収集されたすべてのログを含むファイルです。 それらをすぐに視覚化すると、攻撃のダイナミクスだけが見えることになります。 詳細については、各攻撃を「フォールスルー」し、特定のフィールドを確認する必要があります。

まず、非構造化情報の解析を設定する必要があることがわかりました。 「メッセージ」や​​「URL」などの長いフィールドを文字列として取得し、それらを解析して意思決定のための詳細情報を取得しました。 

たとえば、解析を使用して、ユーザーの位置情報を個別に取り出しました。 これは、ロシアのユーザー向けサイトに対する海外からの攻撃を即座に浮き彫りにするのに役立ちました。 他国からの接続をすべてブロックすることで、攻撃の数が 2 分の XNUMX に減り、ロシア国内の攻撃にも簡単に対処できるようになりました。 

解析後、どのような情報を保存して視覚化するかを探し始めました。 すべてをログに残すのは不適切でした。7 つのインデックスのサイズが XNUMX GB と大きかったです。 ELK によるファイルの処理に長い時間がかかりました。 ただし、すべての情報が役に立ったわけではありません。 何かが重複して余分なスペースを占有していたため、最適化する必要がありました。 

最初はインデックスを調べて不要なイベントを削除するだけでした。 これは、FortiWeb 自体でログを操作するよりもさらに不便で、時間がかかることが判明しました。 この段階での「クリスマス ツリー」の唯一の利点は、長い期間を XNUMX つの画面で視覚化できたことです。 

私たちは絶望せず、サボテンを食べてELKの研究を続け、必要な情報を引き出せると信じていました。 インデックスをクリーニングした後、何が何であるかを視覚化し始めました。 そこで私たちは大きなダッシュボードにたどり着きました。 ウィジェットを追加しました - 視覚的にもエレガントにも、本物の ЁLKa! 

襲撃の瞬間を捉えた。 ここで、攻撃の開始がチャート上でどのように見えるかを理解する必要がありました。 これを検出するために、ユーザーに対するサーバーの応答 (リターン コード) を調べました。 私たちは、次のようなコード (rc) を含むサーバー応答に興味がありました。 

コード (rc)

名前

説明

0

DROP

サーバーへのリクエストはブロックされています

200

Ok

リクエストは正常に処理されました

400

不正な要求

要求の形式が正しくありません

403

禁断の

認証が拒否されました

500

内部サーバーエラー

サービスが利用できません

誰かがサイトを攻撃し始めると、コードの比率が変化します。 

• コード 400 の誤ったリクエストがさらに多く、コード 200 の通常のリクエストが同数であれば、誰かがサイトをハッキングしようとしているということになります。 
• 同時に、コード 0 のリクエストも増加した場合、FortiWeb の政治家も攻撃を「認識」し、ブロックを適用したことになります。 
• コード 500 のメッセージの数が増加した場合、そのサイトはこれらの IP アドレスでは利用できなくなります。これも一種のブロックです。 

XNUMX か月目までに、このアクティビティを追跡するためのダッシュボードをセットアップしました。

すべてを手動で監視しないようにするために、一定の間隔で ELK をポーリングする Nagios との統合をセットアップしました。 コードによってしきい値の達成を記録した場合、不審な活動について当直職員に通知を送信しました。 

監視システムで 4 つのチャートを結合。 ここで、攻撃がブロックされず、エンジニアの介入が必要となる瞬間をグラフで確認することが重要でした。 4 つの異なるグラフでは、目がぼやけていました。 そこで、チャートを組み合わせて XNUMX つの画面上ですべてを観察するようにしました。

モニタリングでは、さまざまな色のグラフがどのように変化するかを観察しました。 赤のバーストは攻撃が開始されたことを示し、オレンジと青のグラフは FortiWeb の反応を示しました。

ここではすべてが順調です。「レッド」アクティビティが急増しましたが、FortiWeb が対処し、攻撃スケジュールは無駄になりました。

また、介入が必要なグラフの例も自分たちで描きました。

ここでは、FortiWeb のアクティビティが増加していることがわかりますが、赤い攻撃グラフは減少していません。 WAFの設定を変更する必要があります。

夜間の事件の捜査も容易になりました。 グラフは、サイトの防御に入る瞬間を即座に示します。 

夜になると時々そういうことがあります。 赤いグラフ - 攻撃が始まりました。 青 - FortiWeb アクティビティ。 攻撃は完全には阻止されなかったので、我々は介入しなければならなかった。

私達はどこに行くの

現在、ELK と連携して業務を行う管理者を訓練しています。 担当者はダッシュボードで状況を評価し、FortiWeb スペシャリストにエスカレーションするか、WAF のポリシーで攻撃を自動的に撃退するか、という決定を下す方法を学びます。 そこで、情報セキュリティ技術者の夜間の負担を軽減し、システムレベルでのサポートを役割分担しています。 FortiWeb へのアクセスはサイバー防御センターのみに残されており、緊急に必要な場合にのみ WAF 設定を変更します。

お客様向けのレポート作成にも取り組んでいます。 WAF 作業のダイナミクスに関するデータは、クライアントの個人アカウントで利用できるようになる予定です。 ELK を使用すると、WAF 自体を参照する必要がなく、状況がより明確になります。

顧客が自分の保護をリアルタイムで監視したい場合にも、ELK は役に立ちます。 お客様が作業に介入すると、残りの作業に影響を与える可能性があるため、WAF へのアクセスを譲渡することはできません。 ただし、別の ELK を入手して「遊んでみる」ために与えることもできます。 

最近集めたクリスマスツリーの活用シナリオです。 これについてあなたの考えを共有し、忘れないでください すべてを正しく設定するデータベースの漏洩を避けるため。 

出所： habr.com