主持人 > 博客 > 管理 > 1.Elastic stack：安全日誌分析。 介紹

1.Elastic stack：安全日誌分析。 介紹

1.Elastic stack：安全日誌分析。 介紹

隨著 Splunk 日誌記錄和分析系統在俄羅斯的銷售結束，出現了一個問題：可以用什麼來取代這個解決方案？ 在花了時間熟悉不同的解決方案後，我確定了一個適合真正男人的解決方案 - “ELK堆疊”。 該系統需要時間來建立，但最終您可以獲得一個非常強大的系統，用於分析組織中的資訊安全事件狀態並及時回應。 在本系列文章中，我們將了解 ELK 堆疊的基本（或可能不是）功能，考慮如何解析日誌、如何建立圖表和儀表板，以及使用以下日誌範例可以完成哪些有趣的功能Check Point 防火牆或OpenVas 安全掃描器。 首先，我們來看看它是什麼——ELK 堆疊，以及它由哪些元件組成。

“ELK堆疊” 是三個開源專案的縮寫： Elasticsearch, Logstash и Kibana。 由 Elastic 與所有相關項目一起開發。 Elasticsearch是整個系統的核心，它結合了資料庫、搜尋和分析系統的功能。 Logstash 是一個伺服器端資料處理管道，它同時從多個來源接收數據，解析日誌，然後將其傳送到 Elasticsearch 資料庫。 Kibana 允許使用者使用 Elasticsearch 中的圖表和圖形來視覺化資料。 您也可以透過 Kibana 管理資料庫。 接下來，我們將更詳細地分別考慮每個系統。

1.Elastic stack：安全日誌分析。 介紹

Logstash

Logstash 是一個用於處理來自各種來源的日誌事件的實用程序，您可以使用它在訊息中選擇欄位及其值，還可以配置資料過濾和編輯。 所有操作完成後，Logstash 將事件重定向到最終資料儲存。 此實用程式僅透過設定檔進行配置。
典型的logstash配置是一個文件，由多個傳入資訊流（輸入）、用於該資訊的多個過濾器（過濾器）和多個傳出流（輸出）組成。 它看起來像一個或多個配置文件，在最簡單的版本中（什麼都不做）看起來像這樣：

input {
}

filter {
}

output {
}

在 INPUT 中，我們配置日誌將發送到哪個連接埠以及透過哪個協議，或從哪個資料夾讀取新的或不斷更新的檔案。 在 FILTER 中，我們設定日誌解析器：解析欄位、編輯值、新增參數或刪除它們。 FILTER 是一個用於管理 Logstash 訊息的字段，具有大量編輯選項。 在輸出中，我們配置發送已解析日誌的位置，如果是elasticsearch，則會發送 JSON 請求，其中發送帶有值的字段，或者作為調試的一部分，可以將其輸出到 stdout 或寫入文件。

1.Elastic stack：安全日誌分析。 介紹

Elasticsearch

最初，Elasticsearch 是一個全文搜尋的解決方案，但具有額外的便利性，例如易於擴展、複製等，這使得該產品非常方便，對於具有大量數據的高負載項目來說是一個很好的解決方案。 Elasticsearch 是一個基於 Lucene 全文搜尋的非關係型 (NoSQL) JSON 文件儲存和搜尋引擎。 硬體平台是Java虛擬機，因此系統需要大量的處理器和RAM資源來運作。
每個傳入訊息，無論是使用 Logstash 或使用查詢 API，都被索引為「文件」——類似於關係 SQL 中的表。 所有文件都儲存在索引中 - 類似於 SQL 中的資料庫。

資料庫中的文件範例：

{
  "_index": "checkpoint-2019.10.10",
  "_type": "_doc",
  "_id": "yvNZcWwBygXz5W1aycBy",
  "_version": 1,
  "_score": null,
  "_source": {
	"layer_uuid": [
      "dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0",
      "dbee3718-cf2f-4de0-8681-529cb75be9a6"
	],
	"outzone": "External",
	"layer_name": [
  	"TSS-Standard Security",
  	"TSS-Standard Application"
	],
	"time": "1565269565",
	"dst": "103.5.198.210",
	"parent_rule": "0",
	"host": "10.10.10.250",
	"ifname": "eth6",
    ]
}

資料庫的所有工作都基於使用 REST API 的 JSON 請求，它可以按索引生成文檔，也可以按以下格式產生一些統計資料：問題 - 答案。 為了可視化所有對請求的回應，編寫了 Kibana，它是一個 Web 服務。

Kibana

Kibana 允許您從 elasticsearch 資料庫中搜尋、檢索資料和查詢統計信息，但許多漂亮的圖表和儀表板都是基於答案構建的。 該系統還具有 Elasticsearch 資料庫管理功能；在後續文章中，我們將更詳細地介紹該服務。 現在讓我們展示一個可建置的 Check Point 防火牆和 OpenVas 漏洞掃描程式的儀表板範例。

Check Point 的儀表板範例，可點選：

1.Elastic stack：安全日誌分析。 介紹

OpenVas的儀表板範例，圖片可點選：

1.Elastic stack：安全日誌分析。 介紹

結論

我們研究了它的組成 ELK堆棧，我們對主要產品有了一些了解，在課程的後面我們將單獨考慮編寫 Logstash 設定檔、在 Kibana 上設定儀表板、熟悉 API 請求、自動化等等！

所以請繼續關注（Telegram, Facebook, VK, TS 解決方案博客), Yandex Zen.

來源： www.habr.com

添加評論