跳至主内容

字段类型

日志消息 安全数据湖 接收的消息通常包含多个字段。您可以在 搜索结果 或某些 仪表板 组件中查看消息包含的字段类型。

字段类型指日志消息中每个字段的数据类型。例如,字段类型可能是字符串、布尔值或数字。字段类型决定了数据的显示方式,比如在仪表板中。例如,您可以选择将URL显示为字符串。

管理字段映射

字段类型在 安全数据湖 接收消息时,系统会分配字段类型。但对于特定字段,接收到的字段类型可能不符合您处理数据的方式。

字段映射功能允许您为传入的日志消息更改特定字段的字段类型。您可以将字段与字段类型配对。例如,字段 host_ip 可映射为字段类型 IP .

要更改字段类型,请在搜索结果中点击任意字段名称时,从下拉菜单中选择 更改字段类型 。当前字段类型显示在此菜单顶部。创建新字段映射的步骤如下:

  1. 点击 更改字段类型 ,并在弹出的对话框中选择新的字段类型。

  2. 选择要包含的索引集。默认情况下,字段类型更改将应用于当前消息或搜索的所有索引集。

  3. 勾选 更改后轮换受影响索引 选项,以确保更改字段类型时轮换所选索引。此时将立即执行轮换,无需等待轮换周期结束。

  4. 点击 更改字段类型 .

    警告

    更改字段类型可能对日志采集产生重大影响。选择与所采集日志不兼容的字段类型可能导致采集错误。请确保启用 故障处理 功能,并密切监控 处理与索引失败 流。

用例

某用户采集的日志消息中包含 client_ip 字段的IP地址。该字段当前被索引为 keyword 默认情况下。用户可以选择此字段并在用户界面中将其类型更改为 ip 。完成更改并执行索引轮换周期后,索引映射模板将由 安全数据湖 修改,从而使 client_ip 字段以 ip .

覆盖字段映射

索引和配置集的来源列于 配置 页面。您可通过以下方式用自定义映射覆盖原始值:

  1. 选择 编辑 要覆盖的字段。此操作对配置集和索引值均适用。

  2. 更改字段类型 对话框的下拉菜单中选择新字段类型。

  3. 勾选 更改后轮换受影响索引 选项以确保字段类型变更时所选索引会被轮换。若取消勾选,则需手动轮换索引使变更生效。

  4. 点击 更改字段类型 .

此操作不会删除字段。您可以临时覆盖索引或配置集,后续可重置字段值。被覆盖的索引或配置集将在 配置 页面显示为 被覆盖索引 被覆盖的配置文件 。您还可以根据索引或配置文件是原始版本还是被覆盖版本来进行筛选。

您可以使用 批量操作 按钮从被覆盖的索引或配置文件中移除多个字段映射。

配置索引字段类型

提示

如果您正在设置一个新的 安全数据湖 集群,并且知道集群使用的字段类型,您可以通过在集群设置过程中创建自定义字段类型来受益。

您可以管理 索引 的字段类型,从 索引与索引集 选项卡下的 索引 页面。要查看索引集的配置页面:

  1. 选择要管理的索引集以打开 概览 页面。每个索引集页面会显示所有包含的索引的概览以及其他配置详细信息。

  2. 点击 配置 菜单,位于详细信息页面的右上角,然后选择 配置索引字段类型 .

configuration_button.png
  • 配置页面列出了所有相关的字段类型映射,并提供了详细信息,如来源。点击 来源 列中的事件以查看字段类型来源的信息。

  • 要修改映射:

    1. 点击相应的 编辑 行末的按钮。保留字段不可编辑。

    2. 在出现的对话框中选择新的字段类型。

    建议谨慎选择新字段类型,因为此操作可能对未来日志消息的摄入产生重大影响。

索引集配置模板

索引集配置模板可保存自定义字段映射,并分配给任意索引集。模板帮助您为传入日志消息建立统一的数据模型,无需为每个新索引集重新创建字段类型映射。

您可以在 配置字段类型 页面管理字段类型,查看与索引集相关的字段信息。

创建字段类型模板

索引与索引集 页面下的 系统 > 索引 .

  1. 选择 字段类型模板 标签页。

  2. 点击 创建模板 .

  3. 输入模板名称及(可选)描述。

  4. 通过左侧选择字段名(或新建)和右侧选择字段类型,使用下拉菜单设置字段类型映射。

  5. (可选)点击 添加映射 为此模板包含更多映射。

  6. 点击 创建模板 .

您也可以在 字段类型配置 页面上创建配置文件:

  1. 前往 系统 > 索引 .

  2. 选择任意索引集以加载其详情页面。

  3. 从右上角的 配置索引字段类型 配置 菜单中选择。

  4. 选择要包含在映射中的字段。如有需要,可以跨页面选择多个字段。

  5. 创建新配置文件 批量操作 菜单中选择。

  6. 输入配置文件名称及(可选)描述。

  7. 设置映射 下根据需要调整字段名称和字段类型。 添加映射 .

  8. 点击 创建配置文件 .

    警告

    更改字段类型可能对日志采集产生重大影响。选择与所采集日志不兼容的字段类型可能导致采集错误。建议 启用故障处理 并密切监控 处理与索引失败 流。

无论采用哪种方法,配置文件创建后都不会直接分配给索引集。您可以在 字段类型配置文件 选项卡中查看和编辑配置文件。

将配置文件分配给索引集

您可以通过 索引与索引集 页面(位于 系统 > 索引 :

  1. 点击 编辑 需要更新的索引集。

  2. 索引集配置文件 下,从下拉菜单中选择所需配置文件。

  3. 点击 更新索引集 .

将配置文件分配给索引集后,必须轮换索引才能使更改生效。具体操作如下:

  1. 转到索引集详情页面。

  2. 选择 轮换活动写入索引 维护 菜单中选择。

您也可以通过 字段类型配置 页面分配或移除配置:

  1. 索引与索引集 页面(位于 系统 > 索引 下)选择任意索引集,加载其详情页。

  2. 从右上角 配置索引字段类型 配置 菜单中选择。

  3. 点击 编辑 图标,针对 字段类型映射配置 字段进行操作。

  4. 在对话框中,从下拉菜单中选择所需配置。

  5. 点击 设置配置 .

    注意

    分配或移除配置后需旋转索引才能使更改生效。

    更改后自动旋转受影响索引 默认勾选此复选框以使更改自动生效。若取消勾选,则需如

    上文所述手动轮换索引。

当索引集已分配配置文件时,您可临时在 配置 页面覆盖配置文件设置(如上所述)。此功能适用于需采用不同设置执行特定搜索而不变更配置文件的情况。

管理字段类型配置文件

通过 字段类型配置文件 选项卡可创建、查看和管理索引集字段类型配置文件。列表视图显示所有配置文件,支持通过筛选器限制列表或按关键词查找特定配置。

自定义字段映射 ”列显示现有自定义映射数量,点击数字可查看详情。列表视图同时展示配置文件所分配的索引集。

安全数据湖 中其他实体列表相同,可自定义列显示及排序方式。如前文所述,点击 创建配置文件 .

编辑配置文件

警告

更新或删除已分配至索引集的配置文件时需谨慎,以免引发意外后果。

通过 字段类型配置文件 选项卡可编辑配置。点击配置文件中的 编辑 后更新信息,包括修改现有字段类型映射及增删映射。

本页面还支持移除任意配置。在列表视图中选择 更多 > 删除 可永久删除配置文件。

流感知字段类型

流感知字段类型允许您将数据流映射到相关字段类型。根据您选择的数据流,这将为您提供精确的字段类型建议。

注意

为降低性能影响,此功能默认禁用。您可以通过在 安全数据湖 配置文件中将 stream_aware_field_types 配置属性设置为 stream_aware_field_types=true .

当配置属性 stream_aware_field_typestrue 安全数据湖 服务器配置文件中被设置为 时, 安全数据湖 会定期从搜索后端收集流-字段关系信息,并仅提供查询所用数据流中存在的字段。

若所有数据流均指向专用独立索引集,建议保持 stream_aware_field_types 属性的默认值false。这将降低搜索后端负载,且跨索引集的流分离有助于显示查询所需的正确字段。反之,若多个数据流指向相同索引集且需要精确字段类型建议,可将其设为true。

例如下图所示,我们选择了 Illuminate:O365消息 数据流,屏幕左侧的 字段 列表会显示基于该数据流的建议字段类型。

Fields 5.1.png

重要提示

启用此功能后,建议监控数据节点(ES或OS)负载,特别是在使用大量数据流和字段时。