一種無需解碼即可分析流量的系統。這種方法簡稱為「機器學習」。事實證明，如果將大量不同的流量輸入到特殊分類器的輸入中，系統可以非常高的可能性偵測到加密流量中的惡意程式碼的行為。
網路威脅已經改變並且變得更加智慧。攻擊和防禦的概念最近已經改變了。網路上的事件數量急劇增加。攻擊手段越來越複雜，駭客的攻擊範圍也越來越廣。
根據思科的統計，在過去的一年裡，攻擊者用於攻擊活動的惡意程式數量增加了兩倍，或者更準確地說，他們使用加密來隱藏攻擊行為。從理論上可知，「正確」的加密演算法是無法被破解的。為了了解加密流量中隱藏的內容，有必要要么知道密鑰來解密它，要么嘗試使用各種技巧來解密它，要么直接破解它，要么利用加密協議中的一些漏洞。
我們這個時代的網路威脅圖
機器學習
看一眼就知道技術！在談論基於機器學習的解碼技術本身如何運作之前，有必要了解神經網路技術的工作原理。
機器學習是人工智慧的一個廣泛的分支，它研究建構可學習演算法的方法。這門科學的目的是創建用於「學習」計算機的數學模型。學習的目標是預測某事。在人類的理解中，我們稱這個過程為 “智慧”。智慧是活了相當長一段時間的人所體現的（2歲的孩子不可能有智慧）。當我們向資深同事尋求建議時，我們會向他們提供一些有關事件的資訊（輸入資料）並尋求協助。反過來，它們會回憶起生活中與您的問題（知識庫）有某種關聯的所有情況，並基於這些知識（數據）為我們提供某種預測（建議）。這種建議被稱為預測，因為給予建議的人並不知道確切會發生什麼，而只是假設。人生經驗告訴我們，一個人可能是對的，也可能是錯的。
神經網路不應該與 if-else 演算法進行比較。這些是不同的東西，並且它們之間存在關鍵的差異。分支演算法對於要做什麼有清晰的「理解」。我將透過例子來證明。
任務。根據汽車的品牌和製造年份確定其煞車距離。
分支演算法實際運行的一個範例。如果汽車是品牌1，生產日期是2012年，那麼它的煞車距離就是10米，反之，如果汽車是品牌2，生產日期是2011年，以此類推。
神經網路運作的例子。我們收集了過去 20 年汽車煞車距離的數據。根據品牌和年份，我們創建了一個「品牌-製造年份-煞車距離」類型的表格。我們將這個表提供給神經網路並開始訓練它。訓練如下：我們將資料輸入神經網絡，但沒有煞車距離。神經網路嘗試根據載入到其中的表格來預測煞車距離。預測某事並詢問用戶「我是對的嗎？」在問題之前，她創建了第四列——猜測列。如果她猜對了，她就在第四列寫 1；如果她錯了，她就寫 0。神經網路會轉到下一個事件（即使她錯了）。網路就是這樣學習的，當學習完成（達到一定的收斂標準）時，我們提交我們感興趣的汽車的數據，最終得到答案。
為了消除關於收斂標準的疑問，我將解釋這是一個從數學推導出的統計公式。兩個不同收斂公式的清晰範例。紅色——二進制收斂，藍色——正常收斂。
二項式和常態機率分佈
為了更清楚地說明，請問「遇到恐龍的機率是多少？」有兩個可能的答案。選項 2 — 非常小（藍色圖表）。選項 1 – 要麼滿足，要麼不滿足（紅色圖表）。
當然，電腦不是人類，它的學習方式也不同。鐵馬的訓練有兩種類型： 基於先例的學習 и 演繹學習.
案例學習是一種從數學規律中學習的方法。數學家收集統計表，得出結論，並將結果（計算公式）載入神經網路。
演繹學習－學習完全發生在神經網路中（從資料收集到分析）。這裡產生的表格沒有公式，但有統計數據。
對該技術的全面概述還需要幾十篇文章。目前這已經足夠讓我們有一個大致的了解了。
神經可塑性
在生物學中，有神經可塑性這樣的概念。神經可塑性是神經元（腦細胞）「根據情況」採取行動的能力。例如，失去視力的人可以更好地聽到聲音、聞到氣味並感知物體。發生這種情況是因為大腦中負責視覺的部分（神經元的一部分）將其工作重新分配給其他功能。
生活中神經可塑性的一個顯著例子是 BrainPort 棒棒糖。
2009年，威斯康辛大學麥迪遜分校宣布發布一款將「語言顯示」概念進一步延伸的新設備，名為BrainPort。 BrainPort 依照以下演算法運作：視訊訊號從相機傳到處理器，處理器控製影像的縮放、亮度和其他參數。它還將數位訊號轉換為電脈衝，有效地接管視網膜的功能。
帶眼鏡和攝影機的 BrainPort Lollipop
BrainPort 實際應用
計算機也是一樣。如果神經網路感知到過程中的變化，它就會進行適應。這是神經網路相對於其他演算法的關鍵優勢——自主性。一種人性。
加密流量分析
加密流量分析是 Stealthwatch 系統的一部分。 Stealthwatch 是思科業界領先的安全監控和分析解決方案，它利用現有網路基礎架構的企業遙測資料。
Stealthwatch Enterprise 的核心是流量許可證、流量收集器、管理控制台和流量感測器工具。
思科 Stealthwatch 介面
由於越來越多的流量開始加密，加密問題變得非常嚴重。以前，只有程式碼被加密（大部分），但現在所有流量都被加密，將「乾淨」資料與病毒分離變得更加困難。一個典型的例子是 WannaCry，它使用 Tor 來隱藏其線上存在。
可視化網路流量加密的成長
宏觀經濟學中的加密
加密流量分析 (ETA) 系統正是用來處理加密流量而無需解密。攻擊者非常聰明，他們使用抗加密的加密演算法，破解這些演算法不僅是一個問題，而且對組織來說成本極其高昂。
該系統的工作原理如下。一些流量來到公司。它進入 TLS（傳輸層安全性）。假設流量已加密。我們正在嘗試回答一系列有關建立了什麼樣的聯繫的問題。
加密流量分析 (ETA) 系統如何運作？
為了回答這些問題，我們在這個系統中使用了機器學習。思科進行了一項研究，並根據該研究創建了一個包含兩個結果的表格——惡意流量和「好」流量。當然，我們無法確切知道當前時刻進入系統的流量類型，但我們可以使用來自全球範圍的數據來追蹤公司內部和外部的流量歷史。在退出此階段時，我們得到一個包含資料的巨大表格。
研究的結果是確定了特徵──可以用數學形式寫出的某些規則。這些規則將根據各種標準而有很大差異——傳輸的文件的大小、連接的類型、流量來自的國家等。工作的結果就是，巨大的表格變成了一堆公式。雖然數量較少，但這對於舒適的工作來說還不夠。
接下來應用機器學習技術－公式收斂，並根據收斂結果得到一個觸發器－一個開關，當輸出資料時，我們會得到一個處於升起或降低位置的開關（標誌）。
最後階段是取得一組覆蓋 99% 流量的觸發器。
ETA交通檢查步驟
這項工作解決了另一個問題——來自內部的攻擊。不再需要中間人手動過濾流量（我現在已經快要崩潰了）。首先，您不再需要花費大量金錢去聘請一位稱職的系統管理員（我繼續為此付出努力）。其次，不存在從內部（至少部分）進行駭客攻擊的危險。
過時的中間人概念
現在，讓我們弄清楚這個系統是基於什麼。
本系統採用 4 種通訊協定： TCP/IP – 網際網路資料傳輸協議，DNS – 網域名稱伺服器，TLS – 傳輸層安全性協議，SPLT（SpaceWire 實體層測試器） – 實體層通訊測試器。
與 ETA 相容的協議
比較是透過比較數據進行的。根據相關協議 TCP/IP 系統會檢查網站的信譽（瀏覽歷史記錄、創建目的等）。借助 DNS 協議，我們可以拒絕「惡意」網站位址。 TLS 協定利用網站指紋，並根據電腦緊急應變小組 (CERT) 資料庫驗證網站。連線驗證的最後階段是物理層驗證。此階段的具體細節並未詳細說明，但其本質是：使用示波器驗證正弦波和餘弦波資料傳輸曲線。換句話說，連接的用途由物理層的請求結構決定。
透過系統的運行，我們可以從加密流量中提取資料。透過檢查資料包，我們可以從資料包本身的未加密欄位中讀取盡可能多的信息。透過在物理層面檢查資料包，我們可以了解資料包的特徵（部分或全部）。另外，不要忘記網站的聲譽。如果請求來自某個 .onion 來源，則您不應該信任它。為了更容易處理此類數據，我們創建了風險圖。
ETA工作結果
一切似乎都很好，但是讓我們來談談網路部署。
ETA的物理實現
這裡出現了許多細微差別和微妙之處。首先，在創建這種
網路與高階軟體結合，需要進行資料收集。手動收集數據完全
雖然很瘋狂，但是實現響應系統已經更有趣了。其次，數據
應該有很多，這意味著安裝的網路感測器應該可以工作
不僅自主，而且還以精細調整的方式，這帶來了許多困難。
感測器和Stealthwatch系統
安裝感測器是一回事，但設定它又是完全不同的任務。要設定感測器，有一個根據以下拓撲運行的複雜系統 - ISR = Cisco 整合服務路由器; ASR = 思科聚合服務路由器； CSR = 思科雲端服務路由器； WLC = 思科無線區域網路控制器； IE = 思科工業乙太網路交換器； ASA = 思科自適應安全設備； FTD = 思科 FireISE 威脅防禦設備防禦設備；
綜合監控，考慮所有遙測數據
網路管理員開始因為上一段「思科」的字數而心律不整。這個奇蹟的代價不小，但這不是我們今天要談的…
黑客行為模擬將按如下方式進行。 Stealthwatch 密切監視網路上每個裝置的活動，並能夠創建正常行為模式。此外，該解決方案還提供了對已知不當行為的深入洞察。該方案採用了約100種不同的分析演算法或啟發式方法，針對不同類型的流量行為，例如掃描、節點發送警告訊框、暴力登入、疑似資料抓取、疑似資料外洩等，列出的安全事件屬於高階邏輯警告。一些安全事件也會自行觸發警報。因此，系統能夠關聯多個孤立的異常事件並將它們收集在一起以確定可能的攻擊類型，並將其與特定設備和使用者連結（圖 2）。然後可以動態地研究該事件並考慮相關的遙測數據。這是最好的上下文資訊。醫生在檢查病人以了解病情時不會孤立地看待症狀。他們從整體上來做出診斷。同樣，Stealthwatch 記錄網路上的每一個異常活動，並對其進行整體檢查以發送上下文相關警報，從而幫助安全專業人員確定風險的優先順序。
使用行為建模進行異常檢測
網路的實體部署如下：
分支網路部署選項（簡化）
分支網路部署選項
網路已經部署，但有關神經網路的問題仍然懸而未決。他們組織了資料傳輸網絡，在門檻上安裝了感測器，啟動了資訊收集系統，但神經網路並沒有參與其中。再見。
多層神經網路
該系統分析使用者和設備行為，以檢測惡意軟體感染、與命令和控制伺服器的通訊、資料外洩以及在組織基礎設施中運行的潛在有害應用程式。資料處理有多個層次，其中人工智慧、機器學習和數理統計技術的結合有助於網路自我學習其正常活動，從而識別惡意活動。
網路安全分析管道從擴展網路的所有部分收集遙測資料（包括加密流量），這是 Stealthwatch 的獨特功能。它逐漸建立對「異常」的理解，然後對「威脅活動」的實際各個元素進行分類，最後對設備或使用者是否真正受到威脅做出最終決定。透過非常仔細的分析和關聯，我們可以將各個小片段拼湊在一起，形成證據，最終判斷某個物體是否已被破壞。
這種能力非常重要，因為典型的企業每天可能會收到大量警報，而且由於安全專家的資源有限，因此不可能對每個警報進行調查。機器學習引擎近乎即時地處理大量訊息，以高置信度識別關鍵事件，並能夠提出明確的行動方案以迅速解決問題。
讓我們仔細看看 Stealthwatch 使用的眾多機器學習技術。當事件提交給 Stealthwatch 的機器學習引擎時，它會經過一個結合使用監督和無監督機器學習技術的安全分析管道。
多層機器學習的可能性
等級 1. 異常檢測和信任建模
在這個級別，99% 的流量會被統計異常偵測器丟棄。這些感測器協同工作，形成正常和異常的複雜模型。然而，異常並不一定是惡意的。網路上發生的許多事情與威脅無關 - 只是很奇怪。不考慮威脅行為來對這些過程進行分類非常重要。為此，需要進一步分析此類探測器的結果，以捕捉仍然可以解釋和信任的奇怪行為。最終，只有一小部分最重要的流程和請求能夠進入第 2 級和第 3 級。如果不使用這種機器學習技術，將訊號與雜訊分離的營運成本將會太高。
異常檢測。 異常檢測的第一階段使用統計機器學習方法將統計上的正常流量與異常流量分開。超過 70 個獨立探測器處理 Stealthwatch 收集的有關通過網路邊界的流量的遙測數據，並在可用時分離出內部域名系統 (DNS) 流量和代理數據。每個請求由 70 多個偵測器處理，每個偵測器使用自己的統計演算法來對偵測到的異常進行評估。這些估計值被組合起來，並且透過應用幾種統計方法，可以為每個單獨的查詢獲得一個估計值。然後使用該總分來區分正常流量和異常流量。
塑造信任。 接下來，將相似的查詢分組，並將這些組的組合異常分數定義為長期平均值。隨著時間的推移，會分析更多的查詢並確定長期平均值，從而減少誤報和誤報。信任建模的結果用於選擇異常分數超過某個動態確定的閾值的流量子集，以進入下一層處理。
第 2 層：事件分類與物件建模
在此級別，將前面階段獲得的結果進行分類並分配給特定的惡意事件。事件分類是根據機器學習分類器分配的值進行的，以確保一致的準確率在 90% 以上。這些包括：
- 基於奈曼-皮爾遜引理的線性模型（文章開頭圖表中的常態分佈規律）
- 使用多變量學習的支援向量機
- 神經網路和隨機森林演算法。
這些孤立的安全事件隨後會隨著時間的推移與單一端點相關聯。在這個階段，對威脅的描述已經形成，在此基礎上，可以完整地了解相關攻擊者如何實現某些結果。
事件分類。 使用分類器將來自前一級的統計異常子集分佈到 100 個或更多類別中。大多數分類器是基於個體行為、群體關係或全球或局部範圍內的行為，而其他分類器則非常具體。例如，分類器可能指示命令並控制伺服器流量、可疑擴充或未經授權的軟體更新。根據此階段的結果，形成安全系統中的一組異常事件，並分配到某些類別。
對物件進行建模。 如果支持某一特定物體有害的假設的證據數量超過了重要性的閾值，則判定存在威脅。影響威脅定義的相關事件與該威脅相關聯，並成為物件離散長期模型的一部分。隨著證據隨著時間的推移而積累，當達到重要性閾值時，系統就會識別出新的威脅。此閾值是動態的，並根據威脅的風險等級和其他因素進行智慧調整。此後，威脅會出現在 Web 介面儀表板上並轉移到下一層。
級別 3. 關係建模
關係建模的目的是從全局視角綜合先前各個層面所獲得的結果，不僅要考慮相關事件的局部背景，還要考慮全球背景。在這個階段，您可以確定有多少組織遭受過此類攻擊，這樣您就可以了解該攻擊是否是專門針對您的，或者是全球性活動的一部分，而您只是陷入了交火之中。
事件已得到確認或發現。確認事件意味著 99% 到 100% 的置信度，因為相關方法和工具之前已經在更大（全球）範圍內被觀察到發揮作用。偵測到的事件是您所特有的，並且是高度針對性的活動的一部分。過去的發現將透過已知的行動方案進行傳達，從而節省您的時間和資源。它們配備了您所需的調查工具，以了解誰在攻擊您以及該活動針對您的數位業務的程度。可以想像，確認事件的數量遠遠超過偵測到的事件的數量，原因很簡單，確認事件對攻擊者來說成本不高，而偵測到的事件
價格昂貴，因為它們必須是新的和定制的。透過創建識別已確認事件的能力，遊戲的經濟最終轉向有利於防禦者，為他們帶來明顯的優勢。
基於ETA的神經網路多層次訓練
全球風險地圖
全球風險地圖是透過機器學習演算法對業內最大的資料集之一進行分析而創建的。它提供了有關互聯網上伺服器行為的大量統計數據，即使這些伺服器是未知的。此類伺服器與攻擊有關，可能會在未來的攻擊中使用或部署。這不是一個“黑名單”，而是從安全性角度對相關伺服器的全面描述。有關這些伺服器活動的上下文感知資訊使 Stealthwatch 的機器學習偵測器和分類器能夠準確預測與這些伺服器通訊相關的風險等級。
您可以查看可用的地圖 .
世界地圖顯示460億 IP位址
現在網路可以學習並保護您的網路。
靈丹妙藥終於被找到了嗎？
不幸的是， 沒有。根據我使用該系統的經驗，我可以說有兩個全球性問題。
問題1.價格。整個網路部署在思科系統上。這有好有壞。好的一面是您不必費心安裝一堆插件，如 D-Link、MikroTik 等。缺點是系統成本龐大。考慮到俄羅斯企業的經濟狀況，目前只有大公司或銀行的富有老闆才能負擔得起這個奇蹟。
問題2.訓練。我在文章中沒有寫出神經網路的訓練週期，但這並不是因為它沒有訓練週期，而是因為它不斷在學習，我們無法預測它什麼時候會學習。當然，也有數理統計的工具（採用相同的皮爾遜收斂準則公式），但這些都是半吊子措施。我們得到了過濾流量的機率，而且即使這樣也只有在攻擊已經被掌握和了解的情況下才有可能。
儘管有這兩個問題，我們在資安特別是網路防護的發展上還是取得了巨大的飛躍。這一事實可以激勵人們研究網路技術和神經網絡，這現在是一個非常有前景的方向。
來源： www.habr.com
