日志数据管理

当日志被摄入 安全数据湖 后，会通过名为 数据路由 .

路由主要发生在流级别，通过规则和过滤器决定数据如何在系统中流动及存储位置。

数据流 是 安全数据湖 用于组织和路由日志数据的机制。每条消息根据预定义规则被分配到一个或多个数据流中。

您可以创建管道规则来决定哪些消息被路由到特定流，从而对不同数据集应用不同的过滤器、转换或保留策略。

单条消息可属于多个数据流，这使得能以不同方式查看和处理同一数据。

管道 提供灵活方式对已路由到数据流的消息进行转换和增强。

每个管道由一系列阶段组成，每个阶段可包含一条或多条 管道规则 。 这些规则应用特定 功能 ，如过滤、转换、标记或重新路由消息，实现更深层的数据增强和日志处理控制。

您可以通过 规则构建器 在 安全数据湖 界面中创建和管理管道规则。

日志经数据流和管道路由后，可根据存储管理需求被导向一个或多个目的地。

主要目的地包括：

路由规则允许基于过滤器和定义条件，将日志数据同时发送至单个或多个目的地。

存储在数据湖中的数据经过压缩优化，适合长期保留，后续可按需恢复进行搜索分析。

这种方案完美适用于需在存储成本与长期数据可用性间取得平衡的组织。

流式日志数据可直接写入一个或多个索引集。索引集定义了搜索后端内部的数据存储与管理方式，包括轮换计划、保留期限和存储偏好设置。

通过该流程可管理索引集的生命周期，包括轮换、保留、存储后端选择及可选的 归档 .

您还可以应用预定义配置的索引集模板，以满足性能、保留期限和成本需求。

安全数据湖 支持多级 数据分层 ，通过根据访问频率将数据分配至不同存储层级，实现速度与效率的平衡。