分類
CISSP

IDS 的檢測閾值(The detection threshold of IDS)

混淆矩陣中的敏感性是評估 IDS 性能的常用方法。
. 一旦 IDS 發送警報,就應該對其進行調查和驗證,並且工作量會增加。減少誤報的數量減少了調查工作量。
. 然而,減少誤報警報可能會增加誤報案例,導致更多的零日漏洞利用,利用組織獲利害關西人未知的漏洞進行攻擊。
. “一般來說,提高入侵檢測系統的靈敏度會導致更高的誤報率,而降低靈敏度會降低誤報率。” ( Chapple ) 降低這裡的“敏感度”可能是指配置 IDS 以降低檢測的積極性和響應性並發送更少的警報。然而,IDS 系統的敏感度究竟是多少?二元分類中靈敏度的操作定義是TP/(TP+FN)。降低靈敏度意味著 FN(假陰性)增加。
. 選項 D 在二元分類器中有意義,如下圖所示。IDS的檢測閾值是影響靈敏度的實現參數,實現方式各不相同。基於異常的 IDS 可以採用二元或多標籤分類器/算法來對事件進行分類,例如 {Attack, Non-attack} 或 { Normal, Suspicious, Attack }。由於存在各種類型的基於異常的 IDS,因此在每種算法中可能會或可能不會使用閾值。此外,在不同算法中提高閾值可能會以不同方式影響靈敏度。
https://ithelp.ithome.com.tw/upload/images/20210624/20132160BYV7e3l2wX.png
-二元分類模型的分數分佈(來源:亞馬遜

S-IDS 和 A-IDS
入侵檢測系統按檢測方法可分為基於簽名(S-IDS)和基於異常(A-IDS)。S-IDS擅長檢測已知攻擊,而 A-IDS 擅長未知攻擊。異常,又名異常值、新奇、噪音、偏差和異常,是指“偏離標準、正常或預期的東西”。(谷歌)
下圖很好地總結了異常檢測方法。但是,請注意它有一個錯字(簽名IDS應該是“S-IDS”),大多數CISSP學習指南將基於知識的IDS(K-IDS)視為與簽名IDS(S-IDS)相同。
https://ithelp.ithome.com.tw/upload/images/20210624/20132160clD74SmQxk.jpg
-Laszka、Aron & Abbas、Waseem & Sastry、S & Vorobeychik、Yevgeniy & Koutsoukos、Xenofon。(2016)。入侵檢測系統的最佳閾值。10.1145/2898375.2898399。

分類(Classification)
如果事件或流量是使用二元分類器的攻擊,則 IDS 可以使用模型(分類器)來確定事件或流量,或者使用多標籤分類器對其進行分類,例如正常、可疑或攻擊。在分類過程中可以使用作為模型參數的閾值。
將預測概率或評分轉換為類別標籤的決策由稱為“決策閾值”、“判別閾值”或簡稱為“閾值”的參數控制。對於在 0 或 1 之間的範圍內的標準化預測概率或分數,閾值的默認值為 0.5。(Brownlee

ROC曲線(ROC Curve)
ROC 曲線(接收器操作特性曲線)是顯示分類模型在所有分類閾值下的性能的圖表。該曲線繪製了兩個參數:真陽性率和假陽性率。(谷歌)
https://ithelp.ithome.com.tw/upload/images/20210624/2013216061vIETP7gL.png
-資料來源:谷歌

混淆矩陣(Confusion Matrix)
混淆矩陣是一種評估 IDS 使用的模型性能的工具。它包含有關使用二元或多標籤分類器進行的實際和預測分類的信息,例如 {Attack, Non-attack} 或 { Normal, Suspicious, Attack }。
https://ithelp.ithome.com.tw/upload/images/20210624/2013216084RUoTPUFu.jpg
-混淆矩陣(圖片來源:數據科學和機器學習
https://ithelp.ithome.com.tw/upload/images/20210624/20132160KkA5nGTp0S.jpg
-混淆矩陣和決策樹(圖片來源:Judy Shamoun-Baranes

參考
準確率和召回率
敏感性和特異性
精確召回
入侵檢測系統的最佳閾值
入侵檢測系統 – IDS 性能調優 (YouTube)
網絡入侵檢測系統:機器學習和深度學習方法的系統研究
大數據環境下使用機器學習算法的入侵檢測模型
機器學習中的分類算法:它們是如何工作的
7種分類算法
統計異常檢測
異常檢測
靈敏度、特異性、準確性、相關置信區間和 ROC 分析與實用 SAS® 實施
評估和調整入侵檢測系統
什麼是入侵檢測系統?最新類型和工具
不平衡分類的評估指標之旅
不平衡分類的閾值移動簡介
多標籤分類的閾值選擇研究
分類:閾值(谷歌)
多標籤分類
多類分類(亞馬遜)
二元分類(亞馬遜)
在 scikit-learn 中微調分類器
機器學習:神經網絡

資料來源: Wentz Wu QOTD-20210406

作者: stevencho

從事資訊工作二十多年,對資安極具熱情,在 Network Security, Endpoint Security, 及 Mobile Security 等資安領域有超過十年以 上的經驗。曾任職精誠資訊資安產品代理部門技術經理,負責 資安產品之技術支援與大型企業導入專案。此外,他也取得了 ISO 27001 主導稽核員證書及 Check Point 的 CCSA 與 CCSE 等防 火牆產品的專業證照。