跳至主内容

数据路由

数据路由指日志数据被摄入安全数据湖后,进行过滤、富化和定向的过程 安全数据湖 。通过应用流规则和管道规则来确定数据的处理与存储位置及方式。 路由配置在流层级进行,因此需先确定要管理的目标流。

为数据流配置路由

在数据流上应用路由规则:

  1. 打开 数据流 选项卡(位于顶部菜单栏)。

  2. 找到需要配置的数据流。

  3. 选择 数据路由 功能。

安全数据湖 将引导您完成三个主要阶段:接入、处理和目的地。

1. 接入阶段

在此阶段,您可以创建或修改 数据流规则 以定义哪些数据从输入端传输至选定流。

要新增规则,请点击 创建规则 。有关规则创建的详细信息,请参阅 数据流规则创建指南 .

2. 处理阶段

此步骤显示当前关联到该流的 处理管道 并允许您添加更多管道。

连接新管道的步骤如下:

  1. 选择 编辑管道连接 .

  2. 选择需要添加的管道。

  3. 点击 更新连接 .

若该流是作为 Illuminate 内容包时需注意,某些数据处理规则可能在新管道规则运行前已生效。

3. 目的地

最后一步需定义处理后日志数据的存储或归档位置。

根据数据管理需求可启用一个或多个目的地:

  • 数据湖 – 将海量日志数据长期存储在低成本存储(如Amazon S3)中,适合需保留但无需主动搜索或分析的日志。(企业版功能)

  • 索引集 – 将数据导入 安全数据湖 的可搜索存储,该存储针对分析、告警和事件管理进行了优化。

注意

配置流目的地时需考虑:

  • 路由或存储此数据的目的是什么?哪个目的地最能满足该目标?

  • 应路由哪些特定数据到各目的地?

  • 可应用哪些过滤规则来包含或排除特定数据?

理解可用目的地类型及其用例对决策至关重要。

通过切换对应开关启用目的地。若数据湖或索引集不可用,系统将提示不可选原因。

可将全部数据路由至多个目的地,或应用过滤器仅发送特定数据子集。

创建过滤规则

可应用过滤规则控制哪些数据不从某目的地排除。

新建过滤规则步骤如下:

  1. 点击右侧箭头展开目的地类型。

  2. 过滤规则 区域选择 创建规则 以打开过滤规则向导。

    注意

    过滤规则具有排他性:默认情况下所有流数据都会路由到目的地,除非显式通过这些规则排除特定消息。

过滤规则通过基于消息字段或属性的条件进行定义。例如,特定输入源、字段值或字段是否为空。

每条规则必须包含至少一个条件,您可添加多个条件以细化过滤效果。