一種無需解密即可分析流量的系統。 這種方法簡稱為「機器學習」。 事實證明，如果將大量的各種流量輸入到特殊分類器的輸入中，系統就能以非常高的機率偵測到加密流量中惡意程式碼的行為。
線上威脅已經發生變化並且變得更加聰明。 最近，攻擊和防禦的概念發生了變化。 網路上的事件數量顯著增加。 攻擊變得更加複雜，駭客的影響範圍也更廣。
根據思科的統計數據，在過去的一年中，攻擊者用於活動的惡意軟體數量增加了兩倍，或者更確切地說，用於隱藏惡意軟體的加密數量增加了兩倍。 從理論上講，「正確」的加密演算法是無法被破解的。 為了了解加密流量中隱藏的內容，有必要在知道金鑰的情況下對其進行解密，或嘗試使用各種技巧進行解密，或直接進行駭客攻擊，或使用加密協定中的某種漏洞。
我們這個時代的網路威脅圖景
機器學習
親自了解技術！ 在談論基於機器學習的解密技術本身如何運作之前，有必要先了解神經網路技術的工作原理。
機器學習是人工智慧的一個廣泛的分支，研究建構可以學習的演算法的方法。 這門科學的目的是創建「訓練」計算機的數學模型。 學習的目的是預測某些事情。 在人類的理解中，我們稱這個過程為單字 “智慧”。 智慧體現在活了相當長的時間的人身上（兩歲的孩子不可能有智慧）。 當我們向資深同志請教時，我們會向他們提供一些有關事件的資訊（輸入資料）並尋求他們的幫助。 反過來，他們會記住生活中與您的問題（知識庫）相關的所有情況，並根據這些知識（數據）為我們提供預測（建議）。 這種類型的建議開始被稱為預測，因為提供建議的人並不確切知道會發生什麼，而只是假設。 生活經驗告訴我們，一個人可能是對的，也可能是錯的。
您不應該將神經網路與分支演算法（if-else）進行比較。 這些是不同的事情，並且存在關鍵差異。 分支演算法對要做什麼有一個清晰的「理解」。 我將用例子來演示。
任務。 根據汽車的品牌和製造年份來確定汽車的煞車距離。
分支演算法的範例。 如果汽車是品牌 1 並且於 2012 年發布，則其煞車距離為 10 米，否則，如果汽車是品牌 2 並且於 2011 年發布，依此類推。
神經網路的例子。 我們收集過去 20 年的汽車煞車距離數據。 按品牌和年份，我們編制了“製造年份-煞車距離”形式的表格。 我們將這張表發送給神經網路並開始訓練它。 訓練如下進行：我們將資料輸入神經網絡，但沒有煞車路徑。 神經元嘗試根據加載到其中的表格來預測制動距離。 預測某事並詢問用戶“我對嗎？” 在提問之前，她創建了第四欄，即猜測欄。 如果她是對的，那麼她在第四列中寫下 1；如果她錯了，她就寫下 0。神經網路將繼續處理下一個事件（即使它犯了錯誤）。 這就是網路學習的方式，當訓練完成（達到一定的收斂標準）時，我們提交我們感興趣的汽車的數據，最終得到答案。
為了消除收斂標準的問題，我將解釋這是一個數學推導的統計公式。 兩個不同收斂公式的引人注目的例子。 紅色——二值收斂，藍色——正常收斂。
二項式和常態機率分佈
為了更清楚地說明問題，問“遇到恐龍的機率是多少？” 這裡有兩個可能的答案。 選項 2 – 非常小（藍色圖）。 選項 1 – 要嘛開會，要嘛不開會（紅色圖）。
當然，計算機不是人，它的學習方式也不同。 鐵馬訓練有兩種： 以案例為基礎的學習 и 演繹學習.
先例教學是利用數學定律進行教學的一種方式。 數學家收集統計表，得出結論並將結果載入到神經網路中——計算公式。
演繹學習－學習完全發生在神經元（從資料收集到分析）。 這裡形成的表格沒有公式，但有統計數據。
這項技術的廣泛概述還需要幾十篇文章。 目前，這對於我們的一般理解來說已經足夠了。
神經可塑性
生物學中有這樣一個概念──神經可塑性。 神經可塑性是神經元（腦細胞）「根據情況」採取行動的能力。 例如，失明的人可以更好地聽到聲音、聞到氣味並感知物體。 發生這種情況是因為大腦中負責視覺的部分（神經元的部分）將其工作重新分配給其他功能。
BrainPort 棒棒糖是生活中神經可塑性的一個引人注目的例子。
2009年，威斯康辛大學麥迪遜分校宣布推出一款新設備，該設備開發了「語言顯示」的想法——它被稱為BrainPort。 BrainPort依照以下演算法運作：視訊訊號從相機頭髮送到處理器，處理器控制變焦、亮度和其他圖片參數。 它還將數位訊號轉換為電脈衝，本質上接管視網膜的功能。
戴著眼鏡和相機的 BrainPort 棒棒糖
工作中的 BrainPort
與電腦相同。 如果神經網路感知到過程中的變化，它就會適應它。 與其他演算法相比，這是神經網路的關鍵優勢——自主性。 一種人性。
加密流量分析
加密流量分析是 Stealthwatch 系統的一部分。 Stealthwatch 是思科推出的安全監控和分析解決方案，它利用現有網路基礎架構中的企業遙測資料。
Stealthwatch Enterprise 是基於流量許可證、流量收集器、管理控制台和流量感測器工具。
思科 Stealthwatch 接口
由於越來越多的流量開始加密，加密問題變得非常嚴重。 以前，只有程式碼（大部分）被加密，但現在所有流量都被加密，將「乾淨」資料與病毒分開變得更加困難。 一個引人注目的例子是 WannaCry，它使用 Tor 來隱藏其線上存在。
網路流量加密成長的可視化
宏觀經濟學中的加密
加密流量分析 (ETA) 系統對於處理加密流量而不解密它是必需的。 攻擊者很聰明，並使用抗加密的加密演算法，破解它們不僅是一個問題，而且對組織來說代價極其高昂。
該系統的工作原理如下。 一些流量來到公司。 它屬於 TLS（傳輸層安全）。 假設流量是加密的。 我們正在嘗試回答一些有關所建立的聯繫類型的問題。
加密流量分析 (ETA) 系統的工作原理
為了回答這些問題，我們在該系統中使用機器學習。 思科進行了研究，並根據這些研究根據 2 個結果創建了一個表格 - 惡意流量和「良好」流量。 當然，我們並不能確定當下時刻直接進入系統的流量有哪些，但我們可以利用世界舞台的數據來追蹤公司內部和外部的流量歷史。 在這個階段結束時，我們得到一個包含資料的巨大表格。
根據研究結果，辨識出特徵－可以用數學形式寫下來的某些規則。 這些規則將根據不同的標準（傳輸檔案的大小、連接類型、流量來自的國家/地區等）而有很大差異。 工作的結果是，巨大的桌子變成了一堆公式。 雖然數量較少，但這還不足以舒適地工作。
接下來，應用機器學習技術 - 公式收斂，根據收斂的結果，我們得到一個觸發器 - 一個開關，當輸出資料時，我們得到一個處於升高或降低位置的開關（標誌）。
最終階段是取得一組覆蓋 99% 流量的觸發器。
ETA中的交通檢查步驟
這項工作的結果是解決了另一個問題——來自內部的攻擊。 不再需要中間的人手動過濾流量（我現在已經淹死了）。 首先，你不再需要花很多錢請一個稱職的系統管理員（我繼續淹死自己）。 其次，不存在來自內部（至少部分）的駭客攻擊的危險。
過時的中間人概念
現在，讓我們弄清楚這個系統是基於什麼。
本系統基於 4 種通訊協定運作：TCP/IP – 網際網路資料傳輸協定、DNS – 網域名稱伺服器、TLS – 傳輸層安全協定、SPLT（SpaceWire 實體層測試器） – 實體通訊層測試器。
與 ETA 配合使用的協議
比較是透過比較數據來進行的。 使用 TCP/IP 協定檢查網站的聲譽（存取歷史記錄、建立網站的目的等），借助 DNS 協議，我們可以丟棄「不良」網站位址。 TLS 協定與網站的指紋配合使用，並根據電腦緊急應變團隊 (cert) 驗證網站。 檢查連接的最後一步是物理層級的檢查。 此階段的細節沒有具體說明，但重點如下：檢查示波裝置上資料傳輸曲線的正弦和餘弦曲線，即由於物理層請求的結構，我們可以確定連接的目的。
透過系統的運行，我們可以從加密的流量中獲取資料。 透過檢查資料包，我們可以從資料包本身的未加密欄位中讀取盡可能多的信息。 透過在物理層檢查資料包，我們可以找出資料包的特徵（部分或全部）。 另外，不要忘記網站的聲譽。 如果請求來自某個 .onion 來源，您不應信任它。 為了更輕鬆地處理此類數據，我們創建了風險地圖。
ETA 工作結果
一切似乎都很好，但我們來談談網路部署。
ETA 的物理實現
這裡出現了許多細微差別和微妙之處。 首先，在創建此類
具有高級軟體的網絡，需要資料收集。 完全手動收集數據
瘋狂，但實施響應系統已經更有趣了。 其次，數據
應該有很多，這意味著安裝的網路感測器必須工作
不僅是自主的，而且是在精細調整的模式下，這造成了許多困難。
感測器和 Stealthwatch 系統
安裝感測器是一回事，但設定它是完全不同的任務。 要設定感測器，有一個根據以下拓撲運行的複合體 - ISR = 思科整合多業務路由器； ASR = 思科聚合服務路由器； CSR = 思科雲端服務路由器； WLC = 思科無線區域網路控制器； IE = 思科工業乙太網路交換器； ASA = 思科自適應安全設備； FTD = 思科 Firepower 威脅防禦解決方案； WSA = 網路安全設備； ISE = 身分服務引擎
考慮到任何遙測數據的綜合監控
網路管理員從上一段「Cisco」的字數開始感到心律不整。 這個奇蹟的代價不小，但這不是我們今天要說的…
黑客的行為將被建模如下。 Stealthwatch 仔細監控網路上每個裝置的活動，並且能夠創造正常行為模式。 此外，該解決方案還可以深入了解已知的不當行為。 該解決方案使用約100種不同的分析演算法或啟發式方法，解決掃描、主機警報幀、暴力登入、可疑資料擷取、可疑資料外洩等不同類型的流量行為。 列出的安全事件屬於進階邏輯警報類別。 一些安全事件也可以自行觸發警報。 因此，系統能夠將多個孤立的異常事件關聯起來，並將它們放在一起以確定可能的攻擊類型，並將其連結到特定的設備和使用者（圖 2）。 將來，可以隨著時間的推移研究該事件，並考慮相關的遙測數據。 這構成了最好的上下文資訊。 醫生對病人進行檢查以了解問題所在時，不會孤立地觀察症狀。 他們著眼於大局來做診斷。 同樣，Stealthwatch 捕獲網路上的每一個異常活動並對其進行整體檢查以發送上下文感知警報，從而幫助安全專業人員確定風險的優先順序。
使用行為建模進行異常檢測
網路的實體部署如下所示：
分公司網路部署選項（簡化）
分公司網路部署選項
網路已經部署，但有關神經元的問題仍然懸而未決。 他們組織了資料傳輸網絡，在門檻上安裝了感測器，啟動了資訊收集系統，但神經元並沒有參與此事。 再見。
多層神經網路
該系統分析使用者和設備行為，以檢測惡意感染、與命令和控制伺服器的通訊、資料外洩以及組織基礎設施中運行的潛在有害應用程式。 資料處理有多層，人工智慧、機器學習和數理統計技術的結合幫助網路自學習其正常活動，以便能夠偵測惡意活動。
網路安全分析管道從擴展網路的所有部分收集遙測數據，包括加密流量，是 Stealthwatch 的獨特功能。 它逐步加深對「異常」的理解，然後對「威脅活動」的實際各個元素進行分類，最後對設備或使用者是否確實受到損害做出最終判斷。 透過非常仔細的分析和關聯，能夠將小片段拼湊在一起形成證據，從而就資產是否受到損害做出最終決定。
這種能力很重要，因為典型的企業每天可能會收到大量警報，由於安全專業人員的資源有限，因此不可能調查每個警報。 機器學習模組近乎即時地處理大量訊息，以高度可信地識別關鍵事件，並且還能夠提供清晰的行動方案以快速解決。
讓我們仔細看看 Stealthwatch 使用的眾多機器學習技術。 當事件提交給 Stealthwatch 的機器學習引擎時，它會通過一個安全分析漏斗，該漏斗使用監督和無監督機器學習技術的組合。
多層次機器學習能力
1級。 異常檢測和信任建模
在此級別，99% 的流量會被統計異常偵測器丟棄。 這些感測器共同構成了正常和異常的複雜模型。 然而，異常並不一定有害。 網路上發生的許多事情與威脅無關——這很奇怪。 在不考慮威脅行為的情況下對此類過程進行分類非常重要。 因此，需要進一步分析此類檢測器的結果，以捕捉可以解釋和可信的奇怪行為。 最終，只有一小部分最重要的執行緒和請求會到達第 2 層和第 3 層。 如果不使用這種機器學習技術，將訊號與雜訊分離的營運成本將會太高。
異常檢測。 異常檢測的第一步是使用統計機器學習技術將統計上的正常流量與異常流量分開。 超過 70 個單獨的偵測器處理 Stealthwatch 收集的通過網路邊界的流量的遙測數據，將內部網域名稱系統 (DNS) 流量與代理伺服器資料（如果有）分開。 每個請求由 70 多個偵測器處理，每個偵測器使用自己的統計演算法對偵測到的異常進行評估。 這些分數被組合起來，並使用多種統計方法為每個單獨的查詢產生一個分數。 然後使用該總分來區分正常流量和異常流量。
塑造信任。 接下來，將類似的請求分組，並將這些組別的總異常分數確定為長期平均值。 隨著時間的推移，會分析更多的查詢以確定長期平均值，從而減少誤報和漏報。 信任建模結果用於選擇異常分數超過某個動態確定的閾值的流量子集，以移至下一個處理層級。
2 級。 事件分類和物件建模
在此級別，對前一階段獲得的結果進行分類並分配給特定的惡意事件。 根據機器學習分類器分配的值對事件進行分類，以確保一致的準確率高於 90%。 他們之中：
- 基於 Neyman-Pearson 引理的線性模型（文章開頭圖表中的常態分佈定律）
- 使用多元學習的支援向量機
- 神經網路和隨機森林演算法。
隨著時間的推移，這些孤立的安全事件會與單一端點相關聯。 正是在這個階段，形成了威脅描述，並在此基礎上創建了相關攻擊者如何設法實現某些結果的完整畫面。
事件的分類。 使用分類器將上一層級的統計異常子集分為 100 個或更多類別。 大多數分類器是基於個人行為、群體關係或全球或局部範圍內的行為，而其他分類器則可能非常具體。 例如，分類器可以指示 C&C 流量、可疑擴充或未經授權的軟體更新。 根據此階段的結果，形成安全系統中的一組異常事件，並分為某些類別。
對象建模。 如果支持特定對像有害的假設的證據數量超過重要性閾值，則確定為威脅。 影響威脅定義的相關事件與此類威脅相關聯，並成為物件的離散長期模型的一部分。 隨著證據隨著時間的推移而不斷積累，系統會在達到重要性閾值時識別新的威脅。 此閾值是動態的，並根據威脅風險等級和其他因素進行智慧調整。 此後，威脅會出現在 Web 介面的資訊面板上，並轉移到下一個層級。
3 級。 關係建模
關係建模的目的是從全局角度綜合先前層級所獲得的結果，不僅考慮到相關事件的本地背景，還考慮到全球背景。 在此階段，您可以確定有多少組織遭遇過此類攻擊，以便了解該攻擊是否專門針對您，或者是全球活動的一部分，而您剛剛被抓住。
事件已被確認或發現。 經過驗證的事件意味著 99% 到 100% 的置信度，因為相關技術和工具之前已在更大（全球）範圍內觀察到。 偵測到的事件對您來說是獨一無二的，並且構成高度針對性活動的一部分。過去的調查結果與已知的行動方案共享，從而節省您的回應時間和資源。 它們配備了您需要的調查工具，以了解誰攻擊了您以及該活動針對您的數位業務的程度。 正如您可以想像的那樣，已確認事件的數量遠遠超過已檢測到的事件數量，原因很簡單，已確認的事件不會給攻擊者帶來太多成本，而已檢測到的事件則需要付出很大的代價。
價格昂貴，因為它們必須是新的和定制的。 透過創建識別已確認事件的能力，遊戲的經濟學最終轉向有利於防守者，為他們帶來明顯的優勢。
基於ETA的神經連結系統的多層次訓練
全球風險地圖
全球風險地圖是透過機器學習演算法對業內最大的同類數據集之一進行分析而創建的。 它提供了有關互聯網上伺服器的廣泛行為統計數據，即使它們是未知的。 此類伺服器與攻擊相關聯，並可能參與或用作未來攻擊的一部分。 這不是“黑名單”，而是從安全性角度對相關伺服器的全面了解。 有關這些伺服器活動的上下文資訊使 Stealthwatch 的機器學習偵測器和分類器能夠準確預測與此類伺服器通訊相關的風險等級。
您可以查看可用的卡 .
顯示 460 億個 IP 位址的世界地圖
現在網路會學習並站出來保護您的網路。
終於找到靈丹妙藥了嗎？
不幸的是， 沒有。 根據使用該系統的經驗，我可以說有兩個全局問題。
問題1.價格。 整個網路部署在Cisco系統上。 這既是好事也是壞事。 好的一面是你不必費心安裝一堆插件，像是 D-Link、MikroTik 等。 缺點是系統成本高昂。 考慮到俄羅斯企業的經濟狀況，目前只有大公司或銀行的富有所有者才能負擔得起這一奇蹟。
問題2：訓練。 我沒有在文章中寫出神經網路的訓練週期，不是因為它不存在，而是因為它一直在學習，我們無法預測它什麼時候會學習。 當然，也有數理統計的工具（採用與皮爾遜收斂準則相同的公式），但這些都是半途而廢的。 我們得到過濾流量的機率，即使如此，也只有在攻擊已經被掌握和已知的情況下。
儘管有這兩個問題，我們在資訊安全特別是網路保護方面的發展取得了很大的飛躍。 這一事實可以激勵網路技術和神經網路的研究，它們現在是一個非常有前途的方向。
來源： www.habr.com