数据路由
数据路由指日志数据被摄入安全数据湖后,进行过滤、富化和定向的过程 安全数据湖 。通过应用流规则和管道规则来确定数据的处理与存储位置及方式。 路由配置在流层级进行,因此需先确定要管理的目标流。
为数据流配置路由
在数据流上应用路由规则:
-
打开 数据流 选项卡(位于顶部菜单栏)。
-
找到需要配置的数据流。
-
选择 数据路由 功能。
安全数据湖 将引导您完成三个主要阶段:接入、处理和目的地。
1. 接入阶段
在此阶段,您可以创建或修改 数据流规则 以定义哪些数据从输入端传输至选定流。
要新增规则,请点击 创建规则 。有关规则创建的详细信息,请参阅 数据流规则创建指南 .
2. 处理阶段
此步骤显示当前关联到该流的 处理管道 并允许您添加更多管道。
连接新管道的步骤如下:
-
选择 编辑管道连接 .
-
选择需要添加的管道。
-
点击 更新连接 .
若该流是作为 Illuminate 内容包时需注意,某些数据处理规则可能在新管道规则运行前已生效。
3. 目的地
最后一步需定义处理后日志数据的存储或归档位置。
根据数据管理需求可启用一个或多个目的地:
-
数据湖 – 将海量日志数据长期存储在低成本存储(如Amazon S3)中,适合需保留但无需主动搜索或分析的日志。(企业版功能)
-
索引集 – 将数据导入 安全数据湖 的可搜索存储,该存储针对分析、告警和事件管理进行了优化。
注意
配置流目的地时需考虑:
-
路由或存储此数据的目的是什么?哪个目的地最能满足该目标?
-
应路由哪些特定数据到各目的地?
-
可应用哪些过滤规则来包含或排除特定数据?
理解可用目的地类型及其用例对决策至关重要。
通过切换对应开关启用目的地。若数据湖或索引集不可用,系统将提示不可选原因。
可将全部数据路由至多个目的地,或应用过滤器仅发送特定数据子集。
创建过滤规则
可应用过滤规则控制哪些数据不从某目的地排除。
新建过滤规则步骤如下:
-
点击右侧箭头展开目的地类型。
-
在 过滤规则 区域选择 创建规则 以打开过滤规则向导。
注意
过滤规则具有排他性:默认情况下所有流数据都会路由到目的地,除非显式通过这些规则排除特定消息。
过滤规则通过基于消息字段或属性的条件进行定义。例如,特定输入源、字段值或字段是否为空。
每条规则必须包含至少一个条件,您可添加多个条件以细化过滤效果。