异常检测

异常检测在管理现代化大规模分布式系统中起着关键作用。这类系统中，分析数据聚合可能成为显著痛点，潜在问题和威胁有时会悄然潜入而不被发现。

异常检测是安全工具，它利用由安全数据湖驱动的 Illuminate 。（参见关于异常检测附加技术包的Illuminate文档以获取更多信息。）该工具的主要目的是通过运行人工智能/机器学习（AI/ML）行为分析，帮助您检测数据集中的异常值，使您能够在基于对独特日志数据的理解下，每当某些内容偏离其通常行为或在正常水平之外运行时接收警报。因此，您和您的团队能够主动应对网络威胁，识别异常活动，并采取措施减轻IT环境中的异常情况。

流程始于当安全数据湖 Illuminate接收您的日志数据后，对其进行标准化和丰富。安全数据湖随后将丰富的数据输入异常检测工具，该工具将数据分成时间片，并根据历史数据寻找超出预期范围的数据点。当检测到异常数据点时，这些消息会被记录到您的安全数据湖实例中的一个特殊异常索引中。然后，您可以根据配置设置创建关于这些异常的警报。此外，这些异常会以各种可自定义的小部件形式显示在安全仪表板上，提供交互式和可操作的 analytics。

本用户指南帮助您准备和设置异常检测工具。

启用异常检测器

使用异常检测不需要事先具备机器学习经验，因为用户界面直观且提供了众多描述符。配置工具的第一步是切换开关以启用提供的任何可用检测器。

在您购买了安全数据湖安全许可证并安装或更新了Illuminate产品后，您可以安装异常检测技术包 .
导航至企业 > Illuminate 然后搜索“异常检测”。
选择并启用 异常检测附加组件 和 异常检测聚焦 内容包。
在安全数据湖中，点击安全数据湖徽标处的下拉菜单并选择安全。此时界面将切换至安全布局，所有与安全相关的内容均集中于此。
接着选择异常 > 异常检测器 查看可用检测器列表。根据组织需求和偏好，通过切换开关启用所需检测器，使其显示为运行状态。

注意

当同时启用多个检测器时，初始化操作将按队列顺序依次执行。

所有可用检测器及其功能的完整列表可查阅异常检测器用户指南 .

需注意，同时启动多个检测器可能对OpenSearch节点造成较高资源负载。可通过配置安全数据湖参数 opensearch_anomaly_max_concurrent_initializations=X （默认值为 1 ）来限制并发初始化数量。建议谨慎调整该参数，并确保集群具备足够的资源支撑。

实施修复步骤

您可以在事件定义、Sigma规则及异常检测器中指定文本形式的修复步骤。该功能可帮助安全分析师在警报触发时快速获取可操作措施。当安全事件触发时，这些修复步骤会显著展示，指导后续操作流程。

更多信息请参阅修复步骤 .

解读数据

当异常工具检测到日志数据中的异常时，它会将数据提取到异常检测处理器中。随后数据会被解构为人类可读且经过整理的信息，即安全数据湖异常事件消息，这些消息将流经标准的事件消息处理流程。这些异常事件消息会简明扼要地提供所检测到的异常事件的精确细节。

注意

如需查看完整的事件消息类型列表及其定义，请参阅异常事件消息索引

所有异常事件消息都包含公共字段和附加字段，附加字段取决于消息源自哪个检测器。这些附加字段会告知您哪个实体（用户、主机等）表现出异常行为。不同的检测器（如 anomaly_detector_name ）会添加不同的字段。

用例

让我们看一个示例。

下面是一个包含标准字段和异常字段的异常事件消息示例。您可以将异常事件消息简单理解为安全数据湖异常检测工具对后台摄取数据的呈现方式。

在此示例中，“Windows事件日志文件权限变更激增检测器”检测到一个异常，异常置信值为0.99，这意味着检测器非常确定检测到的事件是异常的。完整的事件消息提供了更多细节：

异常分数：3.99（表示异常的相对严重程度。分数越高，数据点越异常。3.99的异常分数表示这是一个相对较高的异常数据点）

异常等级：1（这是一个严重级别量表，范围从0到1。0表示“非异常”，非零值表示异常的相对严重程度。本例中的值为1，表示这是一个高严重性异常）

anomaly_file_perm_change_count：3（这是一个附加字段值，特定于“Windows事件日志文件权限变更激增检测器”，此值表示文件被永久更改的次数）

user_name：（这是一个附加字段值，特定于“Windows事件日志文件权限变更激增检测器”，此值提供了检测到的异常源自的用户名信息）。

在此，工具在异常事件消息中提供了过滤后的数据，进一步帮助您在IT基础设施中找到“大海捞针”般的异常。

创建异常事件和警报

现在您已经了解了安全数据湖异常检测的功能及其启用方法，下一步是利用异常事件消息创建事件和警报 .

以上述“Windows事件日志文件权限变更激增检测器”为例，假设您希望在给定环境的Windows主机中发生文件权限变更时收到警报。您可以先创建以下搜索查询：

anomaly_detector_name:wineventlog_file_permissions_change AND anomaly_file_perm_change_count:>0 AND anomaly_confidence:>.01

此查询将在设定的参数范围内搜索日志数据。现在，您可以创建一个警报，向特定用户组触发特定警报（如电子邮件或Slack消息）。有关此过程的完整说明，请参阅事件和警报用户指南 .

从异常检测器生成事件

默认情况下，当您启用异常检测器时，安全数据湖将生成事件定义。您可以通过切换 启用事件定义 胶囊按钮来禁用已启用异常检测器的事件定义，该按钮位于 异常检测器 选项卡下的异常页面。

使用场景

在本示例中， Fortigate - 异常数据传输 的异常检测器已启用，但其对应的事件定义处于禁用状态。

当通过启用异常检测器创建系统生成的事件定义时，该定义会显示在 事件定义 页面。随后您可为触发的异常事件定义添加告警：

点击更多按钮以选择事件定义。
从下拉选项中选择编辑。
跳转至通知部分并点击 添加通知 按钮。
选择所需的告警类型并配置相关参数。

异常检测器

注意

以下文章已迁移至官方Illuminate文档，详情见下文。

如需获取安全数据湖异常检测工具中包含的所有可用检测器完整列表，请参阅相关Illuminate文档 .

关于异常检测生成的每个事件日志消息中所有通用消息字段的完整索引，请参见对应指南 .

异常事件消息字段

注意