日志数据管理

当日志数据被摄取到 安全数据湖 后，会通过一个称为 数据路由 .

路由主要发生在流级别，通过规则和过滤器决定数据如何在系统中流动及存储位置。

数据流 是 安全数据湖 用于组织和路由日志数据的机制。每条消息根据预定义规则被分配到一个或多个数据流中。

您可以创建管道规则来决定哪些消息被路由到特定数据流，从而对不同的数据集应用不同的过滤器、转换或保留策略。

单条消息可属于多个数据流，这使得能以不同方式查看和处理同一数据。

处理管道 提供了一种灵活方式，可在消息被路由到数据流后对其进行转换和丰富。

每个管道由一系列阶段组成，每个阶段可包含一个或多个 管道规则 。 这些规则应用特定 功能 ，如过滤、转换、标记或重新路由消息，从而实现对日志处理的深度数据丰富和控制。

您可以通过 规则构建器 在 安全数据湖 界面中创建和管理管道规则。

当日志通过数据流和处理管道路由后，可根据存储和管理需求将其导向一个或多个目的地。

主要目的地包括：

路由规则允许您根据过滤器和定义的标准，将日志数据同时发送到一个或多个目的地。

存储在数据湖中的数据经过压缩和优化，适合长期保留，并可在需要时恢复以进行搜索和分析。

这种方法非常适合需要在存储成本和长期数据可用性之间取得平衡的组织。

来自流中的日志数据可以直接写入一个或多个索引集。索引集定义了数据在搜索后端中的存储和管理方式，包括轮换计划、保留限制和存储偏好。

此过程允许您管理索引集的生命周期，包括轮换、保留、存储后端选择和可选的 归档 .

您还可以应用具有预定义设置的索引集模板，以满足性能、保留和成本要求。

安全数据湖 支持多个 数据层 ，使您能够根据访问频率将数据分配到不同的存储层，从而平衡速度和效率。