异常检测

异常检测在现代大规模分布式系统管理中起着关键作用。在这些系统中，数据分析聚合可能是一个重大痛点，有时潜在问题和威胁会悄无声息地潜入系统。

异常检测是安全工具，它利用由安全数据湖驱动的 Illuminate 环境（详见《关于异常检测附加技术包的Illuminate文档》）。该工具通过运行人工智能/机器学习（AI/ML）行为分析，帮助检测数据集中的异常值，当基于对您独特日志数据的理解，发现某些行为偏离常态或超出正常水平时发出警报。从而使您和团队能够主动应对网络威胁，识别异常活动，并采取措施缓解IT环境中的异常情况。

流程始于安全数据湖 Illuminate接收您的日志数据后，会对其进行标准化处理和增强。安全数据湖随后将增强后的数据输入异常检测工具，该工具会将数据按时间切片划分，并根据历史数据寻找超出预期范围的数据点。当检测到异常数据点时，这些信息会被记录到您安全数据湖实例中的特殊异常索引中。您可以根据配置设置创建关于这些异常的警报。此外，这些异常会通过多种可定制的小部件呈现在安全仪表板上，提供交互式且可操作的分析。

本用户指南将帮助您准备并设置异常检测工具。

启用异常检测器

使用异常检测无需具备机器学习经验，其用户界面直观且提供大量描述符。配置工具的第一步是通过切换开关启用所提供的任意可用检测器。

当您购买安全数据湖安全许可证并安装或更新Illuminate产品后，即可安装异常检测技术包 .
导航至 企业版 > Illuminate 然后搜索“异常检测”。
选择并启用 异常检测附加组件 和 异常检测聚焦 内容包。
在安全数据湖中，选择安全数据湖徽标并点击安全。此时界面已切换至安全布局，所有安全相关的内容均集中于此。
现在选择异常 > 异常检测器 以查看可用检测器。根据您组织的需求与偏好，通过切换开关启用所需检测器，使其显示运行状态。

注意

当多个检测器同时启用时，初始化操作将按顺序排队执行。

所有可用检测器及其功能的完整列表可查阅异常检测器用户指南 .

请注意，同时启动多个检测器可能会对OpenSearch节点造成较大资源压力。可通过配置安全数据湖参数 opensearch_anomaly_max_concurrent_initializations=X 来设置允许同时初始化的检测器数量（默认值为 1 ）。建议谨慎调整该并发初始化值，并确保集群具备足够资源妥善处理。

应用修复步骤

您可以在事件定义、Sigma规则及异常检测器中指定修复步骤（以文本形式呈现）。此功能可让您为安全分析师制定触发警报时的可执行措施。当指定修复步骤后，这些步骤将在安全事件触发时突出显示，指导您采取恰当的后续行动。

更多信息请参阅修复步骤 .

解读数据

当异常工具检测到日志数据异常时，会将数据提取至异常检测处理器。随后数据被解构为易于阅读且结构清晰的安全数据湖异常事件消息，并进入标准事件消息处理流程。这些消息将为您提供所检测异常事件的精确摘要。

注意

如需查看完整的事件消息类型列表及其定义，请查阅异常事件消息索引

所有异常事件消息都包含公共字段，并根据消息来源的检测器附加不同字段。这些附加字段会标识出表现出异常行为的实体（用户、主机等）。不同检测器（如 anomaly_detector_name ）会添加不同字段。

使用案例

让我们看一个示例。

下面是一个包含标准字段和异常字段的异常事件消息示例。您可以将异常事件消息简单理解为安全数据湖异常检测工具对后台摄取数据的呈现形式。

本例中，Windows事件日志文件权限变更激增检测器发现了一个置信值为0.99的异常（表示该检测器高度确信该事件异常）。完整事件消息还包含以下细节：

异常分数：3.99（表示异常相对严重程度，分数越高异常越显著。3.99分属于较高异常值）

异常等级：1（严重程度分级，范围0-1。0表示'非异常'，非零值表示异常相对严重程度。本例中1表示高严重性异常）

anomaly_file_perm_change_count：3（这是Windows事件日志文件权限变更激增检测器的专有字段，表示文件被永久变更的次数）

user_name：（这是Windows事件日志文件权限变更激增检测器的专有字段，标识异常来源的用户名）

该工具通过异常事件消息提供过滤后的数据，帮助您在IT基础设施中精准定位问题。

创建异常事件与警报

现在您已了解安全数据湖异常检测的功能及启用方法，接下来可利用异常事件消息创建事件与警报 .

以上述Windows事件日志文件权限变更激增为例，假设您需要监控某环境中Windows主机文件权限变更。可先创建搜索查询：

anomaly_detector_name:wineventlog_file_permissions_change AND anomaly_file_perm_change_count:>0 AND anomaly_confidence:>.01

该查询将在设定参数内搜索日志数据。随后可创建警报，向特定用户组触发邮件或Slack消息等通知。完整操作指南请参阅事件与警报用户手册 .

通过异常检测器生成事件

默认情况下，启用异常检测器时安全数据湖会自动生成事件定义。您可通过切换 启用事件定义 胶囊按钮（位于 异常检测器 选项卡位于异常页面。

用例

在本示例中， Fortigate - 异常数据传输 的异常检测器已启用，但其对应的事件定义处于禁用状态。

当通过启用异常检测器创建系统生成的事件定义时，该定义会显示在 事件定义 页面。随后您可为触发的异常事件定义添加告警：

点击更多按钮（针对选定的事件定义）。
从下拉选项中选择编辑。
在结果页面中导航至通知部分，并点击 添加通知 按钮。
选择所需的告警类型并配置相关参数。

异常检测器

注意

以下文章已迁移至官方Illuminate文档，详情见下文。

如需获取安全数据湖异常检测工具包含的所有可用检测器完整列表，请参阅相关Illuminate文档 .

关于异常检测生成的每个事件日志消息中所有常见字段的完整索引，请参阅对应指南 .

异常事件消息字段

注意