跳至主内容

数据路由

数据路由指日志数据被摄入安全数据湖后,经过过滤、丰富和定向的过程。 安全数据湖 该过程通过应用流规则和管道规则,决定数据的处理与存储方式及位置。 路由配置在流层级进行,因此需先确定要管理的目标数据流。

配置数据流路由

为数据流配置路由的步骤:

  1. 打开 数据流 顶部菜单选项卡。

  2. 定位需配置的目标数据流。

  3. 选择 数据路由 针对该数据流。

安全数据湖 将引导您完成三个主要阶段:摄入、处理和目的地。

1. 摄入阶段

在此阶段,您可以创建或修改 流规则 以定义哪些数据从输入转移到选定流中。

要添加新规则,请选择 创建规则 。有关创建规则的更多信息,请参阅 流规则创建 .

2. 处理阶段

此步骤显示当前 管道 连接到流的情况,并允许您应用其他管道。

连接新管道的步骤如下:

  1. 选择 编辑管道连接 .

  2. 选择要添加的管道。

  3. 点击 更新连接 .

如果该流是作为 Illuminate 内容包的一部分创建的,请注意在您的新管道规则运行之前可能已应用某些数据处理规则。

3. 目的地阶段

在最后一步,您需要定义处理后的日志数据将存储或归档的位置。

您可以根据数据管理需求启用一个或多个目的地:

  • 数据湖 – 将大量日志数据长期存储在低成本存储(如Amazon S3)中。适合需要保留但无需主动搜索或分析的日志。(企业版功能)

  • 索引集 – 将数据路由至 安全数据湖 的可搜索存储,该存储针对分析、告警和事件管理进行了优化。

注意

为流配置目标时需考虑以下因素:

  • 路由或存储此数据的目的是什么?哪个目标最能满足该目标?

  • 应将哪些特定数据路由到每个目标?

  • 可应用哪些过滤规则来包含或排除特定数据?

为做出决策,需了解可用目标类型及其使用场景。

启用目标需切换对应开关。若数据湖或索引集不可用,系统会提示不可选原因。

可将所有数据路由至多个目标,或应用过滤器仅发送特定数据子集至各目标。

创建过滤规则

可应用过滤规则控制哪些数据从目标中排除。

新建过滤规则步骤如下:

  1. 点击右侧箭头展开目标类型。

  2. 过滤规则 区域选择 创建规则 以打开过滤规则向导。

    注意

    过滤规则为排除性质:默认所有流数据均路由至目标,除非通过规则显式排除特定消息。

过滤规则通过消息字段或属性条件定义。例如:特定输入源、字段值或字段是否为空。

每条规则须包含至少一个条件,可添加多个条件细化过滤。