在之前的文章中，我們對elk堆疊以及為日誌解析器設定Logstash設定檔有了一些了解，在這篇文章中，我們將從分析的角度轉向最重要的事情，你想要什麼從系統中看到一切都是為了什麼而創建的- 這些是組合成的圖表和表格 儀表板。 今天我們就來詳細了解視覺化系統 Kibana，我們將了解如何建立圖形和表格，因此我們將基於來自 Check Point 防火牆的日誌建立一個簡單的儀表板。
使用 kibana 的第一步是創建 指數模式，從邏輯上講，這是按照某一原則統一起來的指標基礎。 當然，這純粹是為了讓 Kibana 更方便地同時跨所有索引搜尋資訊而設定的。 它是透過匹配字串（例如“checkpoint-*”）和索引名稱來設定的。 例如，「checkpoint-2019.12.05」適合該模式，但「checkpoint」不再存在。 值得一提的是，在搜尋中，不可能同時搜尋不同索引模式的資訊；稍後在後續文章中，我們將看到 API 請求要麼透過索引名稱發出，要麼僅透過一個索引發出圖案的線條，圖片可點擊：
之後，我們在「發現」選單中檢查所有日誌是否已編入索引並配置了正確的解析器。 如果發現不一致的情況，例如將資料類型從字串改為整數，則需要編輯Logstash配置文件，這樣新的日誌才能正確寫入。 為了使舊日誌在更改之前採用所需的形式，只有重新索引過程才有幫助；在後續文章中將更詳細地討論此操作。 讓我們確保一切正常，圖片可點擊：
日誌已就位，這意味著我們可以開始建立儀表板。 基於對安全產品儀表板的分析，您可以了解組織中的資訊安全狀態，清楚地看到當前策略中的漏洞，並隨後制定消除它們的方法。 讓我們使用幾個視覺化工具來建立一個小型儀表板。 儀表板將由 5 個組件組成：
- 刀片總原木數計算表
- 關鍵 IPS 簽章表
- 威脅防禦事件的圓餅圖
- 最受歡迎的訪問網站圖表
- 最危險應用程式的使用圖表
要建立視覺化圖形，您需要進入選單 想像，然後選擇我們想要搭建的人物！ 我們按順序走吧。
以刀片計算原木總數表
為此，請選擇一個圖形 數據表，我們進入到創建圖形的設備，左邊是圖形的設置，右邊是它在當前設置下的樣子。 首先，我將演示完成的表格是什麼樣子，然後我們將進行設置，圖片是可點擊的：
更詳細的設定如圖，圖片可點選：
我們來看看設定。
初始配置 指標，這是聚合所有欄位的值。 指標是根據以一種或另一種方式從文件中提取的值來計算的。 這些值通常會提取自 的領域 文檔，但也可以使用腳本產生。 在這種情況下，我們輸入 聚合：計數 （日誌總數）。
之後，我們將表格分割為多個段（欄位），透過這些段（欄位）來計算指標。 此功能由 Buckets 設定執行，設定又包含 2 個設定選項：
- 拆分行 - 新增列，然後將表格分割為行
- 分錶－根據特定欄位的值劃分為多個表。
В 水桶 您可以新增多個分割區來建立多個列或表，這裡的限制是相當合乎邏輯的。 在聚合中，您可以選擇使用哪種方法來劃分分段：ipv4 範圍、日期範圍、術語等。 最有趣的選擇恰恰是 條款 и 重要條款，根據特定索引欄位的值進行分段，它們之間的差異在於傳回值的數量和顯示方式。 由於我們想按刀片名稱劃分錶格，因此我們選擇欄位 - 產品.關鍵字 並將大小設為 25 個返回值。
elasticsearch 使用 2 種資料類型而不是字串 - 文本 и 關鍵詞。 如果要執行全文搜索，則應該使用文字類型，這在編寫搜尋服務時非常方便，例如在特定欄位值（文字）中尋找單字的提及。 如果您只想精確匹配，則應該使用關鍵字類型。 此外，關鍵字資料類型應該用於需要排序或聚合的字段，即在我們的例子中。
因此，Elasticsearch 會計算特定時間內的日誌數量，並按產品欄位中的值進行聚合。 在自訂標籤中，我們設定將在表中顯示的列的名稱，設定收集日誌的時間，開始渲染 - Kibana 向 Elasticsearch 發送請求，等待回應，然後視覺化接收到的資料。 桌子準備好了！
威脅防禦事件的圓餅圖
特別有趣的是有關有多少反應的百分比的信息 檢測 и 防止 現行安全政策中的資訊安全事件。 餅圖非常適合這種情況。 在視覺化中選擇 - 餅形圖。 此外，在指標中，我們會按日誌數量設定聚合。 在儲存桶中，我們放置術語 => 操作。
一切似乎都是正確的，但結果顯示所有刀片的值；您只需按在威脅防護框架內工作的刀片進行過濾。 因此，我們肯定設定了 過濾 為了只搜尋負責資訊安全事件的刀片的資訊 - 產品：（「Anti-Bot」或「New Anti-Virus」或「DDoS Protector」或「SmartDefense」或「Threat Emulation」）。 圖片可點擊：
還有更詳細的設置，圖片可點擊：
IPS 事件表
接下來，從資訊安全的角度來看非常重要的是查看和檢查刀片上的事件。 IPS и 威脅模擬那 沒有被阻止 目前的策略是，為了隨後更改簽名來阻止，或者如果流量有效，則不檢查簽名。 我們以與第一個範例相同的方式建立表，唯一的差異是我們建立了多個欄位：protects.keyword、severity.keyword、product.keyword、originsicname.keyword。 請務必設定過濾器，以便僅搜尋負責資訊安全事件的刀片的資訊 - 產品：（「SmartDefense」或「威脅模擬」）。 圖片可點擊：
更詳細的設置，圖片可點選：
最熱門訪問網站的圖表
為此，請創建一個圖形 - 豎條。 我們也使用計數（Y 軸）作為指標，在 X 軸上我們將使用造訪過的網站的名稱作為值 - “appi_name”。 這裡有一個小技巧：如果您運行當前版本中的設置，那麼所有站點都將在圖表上以相同的顏色標記，為了使它們具有多種顏色，我們使用一個附加設置 - “split series”，它允許您將現成的欄位劃分為多個值，當然取決於所選欄位！ 這種劃分既可以在堆疊模式下根據值用作一個多色列，也可以在普通模式下根據 X 軸上的某個值創建多個列。在這種情況下，這裡我們使用與X 軸上的值相同，這使得可以使所有列具有多種顏色；它們將由右上角的顏色指示。 在我們設定的過濾器中 - 產品：「URL過濾」以便僅查看訪問過的網站上的信息，圖片是可點擊的：
設置：
最危險應用程式的使用圖
為此，請建立一個圖形 - 垂直條。 我們也使用計數（Y 軸）作為指標，在 X 軸上，我們將使用所用應用程式的名稱 - “appi_name”作為值。 最重要的是過濾器設定 - 產品：「應用程式控制」和 app_risk：（4 或 5 或 3）和操作：「接受」。 我們透過應用程式控製刀片過濾日誌，僅取得那些被分類為關鍵、高、中風險站點的站點，並且僅在允許存取這些站點的情況下。 圖片可點擊：
設置，可點選：
儀表板
查看和建立儀表板位於單獨的選單項目中 - 我的帳戶。 這裡一切都很簡單，創建了一個新的儀表板，將視覺化添加到其中，放置在它的位置，就是這樣！
我們正在創建一個儀表板，您可以透過它了解組織中資訊安全狀態的基本情況，當然，僅在 Check Point 級別，圖片是可點擊的：
根據這些圖表，我們可以了解哪些關鍵簽名未被防火牆阻止、用戶去了哪裡以及他們使用了哪些最危險的應用程式。
結論
我們研究了 Kibana 的基本視覺化功能並建立了儀表板，但這只是一小部分。 在本課程中，我們將分別介紹如何設定地圖、使用 elasticsearch 系統、熟悉 API 請求、自動化等等！
所以請繼續關注（, , , ), .
來源： www.habr.com