混淆矩陣中的敏感性是評估 IDS 性能的常用方法。
. 一旦 IDS 發送警報，就應該對其進行調查和驗證，並且工作量會增加。減少誤報的數量減少了調查工作量。
. 然而，減少誤報警報可能會增加誤報案例，導致更多的零日漏洞利用，利用組織獲利害關西人未知的漏洞進行攻擊。
. “一般來說，提高入侵檢測系統的靈敏度會導致更高的誤報率，而降低靈敏度會降低誤報率。” ( Chapple ) 降低這裡的“敏感度”可能是指配置 IDS 以降低檢測的積極性和響應性並發送更少的警報。然而，IDS 系統的敏感度究竟是多少？二元分類中靈敏度的操作定義是TP/(TP+FN)。降低靈敏度意味著 FN（假陰性）增加。
. 選項 D 在二元分類器中有意義，如下圖所示。IDS的檢測閾值是影響靈敏度的實現參數，實現方式各不相同。基於異常的 IDS 可以採用二元或多標籤分類器/算法來對事件進行分類，例如 {Attack, Non-attack} 或 { Normal, Suspicious, Attack }。由於存在各種類型的基於異常的 IDS，因此在每種算法中可能會或可能不會使用閾值。此外，在不同算法中提高閾值可能會以不同方式影響靈敏度。
-二元分類模型的分數分佈（來源：亞馬遜）
S-IDS 和 A-IDS
入侵檢測系統按檢測方法可分為基於簽名（S-IDS）和基於異常（A-IDS）。S-IDS擅長檢測已知攻擊，而 A-IDS 擅長未知攻擊。異常，又名異常值、新奇、噪音、偏差和異常，是指“偏離標準、正常或預期的東西”。（谷歌）
下圖很好地總結了異常檢測方法。但是，請注意它有一個錯字（簽名IDS應該是“S-IDS”），大多數CISSP學習指南將基於知識的IDS（K-IDS）視為與簽名IDS（S-IDS）相同。
-Laszka、Aron & Abbas、Waseem & Sastry、S & Vorobeychik、Yevgeniy & Koutsoukos、Xenofon。(2016)。入侵檢測系統的最佳閾值。10.1145/2898375.2898399。
分類(Classification)
如果事件或流量是使用二元分類器的攻擊，則 IDS 可以使用模型（分類器）來確定事件或流量，或者使用多標籤分類器對其進行分類，例如正常、可疑或攻擊。在分類過程中可以使用作為模型參數的閾值。
將預測概率或評分轉換為類別標籤的決策由稱為“決策閾值”、“判別閾值”或簡稱為“閾值”的參數控制。對於在 0 或 1 之間的範圍內的標準化預測概率或分數，閾值的默認值為 0.5。（Brownlee）
ROC曲線(ROC Curve)
ROC 曲線（接收器操作特性曲線）是顯示分類模型在所有分類閾值下的性能的圖表。該曲線繪製了兩個參數：真陽性率和假陽性率。（谷歌）
-資料來源：谷歌
混淆矩陣(Confusion Matrix)
混淆矩陣是一種評估 IDS 使用的模型性能的工具。它包含有關使用二元或多標籤分類器進行的實際和預測分類的信息，例如 {Attack, Non-attack} 或 { Normal, Suspicious, Attack }。
-混淆矩陣（圖片來源：數據科學和機器學習）
-混淆矩陣和決策樹（圖片來源：Judy Shamoun-Baranes）
參考
. 準確率和召回率
. 敏感性和特異性
. 精確召回
. 入侵檢測系統的最佳閾值
. 入侵檢測系統 – IDS 性能調優 (YouTube)
. 網絡入侵檢測系統：機器學習和深度學習方法的系統研究
. 大數據環境下使用機器學習算法的入侵檢測模型
. 機器學習中的分類算法：它們是如何工作的
. 7種分類算法
. 統計異常檢測
. 異常檢測
. 靈敏度、特異性、準確性、相關置信區間和 ROC 分析與實用 SAS® 實施
. 評估和調整入侵檢測系統
. 什麼是入侵檢測系統？最新類型和工具
. 不平衡分類的評估指標之旅
. 不平衡分類的閾值移動簡介
. 多標籤分類的閾值選擇研究
. 分類：閾值（谷歌）
. 多標籤分類
. 多類分類（亞馬遜）
. 二元分類（亞馬遜）
. 在 scikit-learn 中微調分類器
. 機器學習：神經網絡
資料來源： Wentz Wu QOTD-20210406
