字段类型
日志消息 安全数据湖 接收的消息通常包含多个字段。您可以在 搜索结果 或某些 仪表板 组件。
字段类型是指日志消息中每个字段的数据类型。例如,字段类型可以是字符串、布尔值或数字。字段类型决定了数据的显示方式,比如在仪表板中。例如,您可以选择将URL显示为字符串。
管理字段映射
字段类型是在 安全数据湖 接收消息时分配的。然而,对于给定字段,接收到的字段类型可能与您希望处理数据的方式不匹配。
字段映射允许您为传入日志消息的特定字段更改字段类型。您可以将字段与字段类型配对。例如,字段
host_ip
可以映射到字段类型
IP
.
可以通过选择 更改字段类型 来更改字段类型,该选项出现在您点击搜索结果中任何字段名称时显示的下拉菜单中。当前字段类型显示在此菜单的顶部。要创建新的字段映射:
-
点击 更改字段类型 并在出现的对话框中选择一个新的字段类型。
-
选择您想要包含的索引集。默认情况下,字段类型更改会应用于当前消息或搜索的所有索引集。
-
选择 更改后旋转受影响的索引 选项以确保在更改字段类型时旋转所选索引。在这种情况下,旋转会立即执行,而无需等待旋转周期结束。
-
点击 更改字段类型 .
警告
更改字段类型可能会对日志摄取产生重大影响。选择与您正在摄取的日志不兼容的字段类型可能会导致摄取错误。请确保启用 失败处理 并且之后密切监视 处理和索引失败 流。
使用案例
用户摄入了包含IP地址的日志消息,该IP地址位于
client_ip
字段中。该字段默认被索引为
keyword
类型。用户可以在界面中选择该字段并将其类型更改为
ip
。完成更改并执行索引轮换周期后,
安全数据湖
会修改索引映射模板,使得
client_ip
字段被索引为
ip
.
覆盖字段映射
索引和配置文件的来源列在 配置 页面。您可以通过以下方式用自定义映射覆盖原始值:
-
选择 编辑 要覆盖的字段。此操作适用于配置文件和索引值。
-
在 更改字段类型 对话框的下拉菜单中选择新的字段类型。
-
勾选 更改后轮换受影响的索引 选项以确保字段类型更改时选定的索引会被轮换。若取消勾选,则需手动轮换索引使更改生效。
-
点击 更改字段类型 .
此操作不会移除或删除字段。您可以临时覆盖索引或配置文件,随后字段值可能被重置。被覆盖的索引或配置文件将在 配置 页面显示为 被覆盖的索引 或 被覆盖的配置文件 。您还可以根据索引或配置文件是原始状态还是被覆盖状态进行筛选。
您可以使用 批量操作 按钮从被覆盖的索引或配置文件中移除多个字段映射。
配置索引字段类型
提示
如果您正在设置新的 安全数据湖 集群且已知该集群使用的字段类型,可以在集群设置过程中创建自定义字段类型以获得优势。
您可以通过 索引 页面的 索引与索引集 选项卡管理 索引 的字段类型。要查看索引集的配置页面:
-
选择要管理的索引集以打开其 概览 页面。每个索引集页面会显示所有包含索引的概览及其他配置细节。
-
点击详情页面右上角的 配置 菜单,然后选择 配置索引字段类型 .
-
配置页面列出了所有关联的字段类型映射及其详细信息(例如来源)。点击 来源 列中的事件可查看字段类型的来源信息。
-
修改映射的方法:
-
点击行末对应的 编辑 按钮(保留字段不可编辑)。
-
在弹出对话框中选择新字段类型。
建议谨慎选择新字段类型,此操作可能对未来日志消息的摄入产生重大影响。
-
索引集配置模板
索引集配置模板可保存自定义字段映射,并分配给任意索引集。通过模板可为传入日志消息建立统一中心化数据模型,无需为每个新索引集重复创建字段类型映射。
您可在 配置字段类型 页面管理字段类型,查看与索引集相关的字段信息。
创建字段类型模板
新建字段类型模板需访问 索引与索引集 页面(路径: 系统 > 索引 .
-
选择 字段类型模板 标签页。
-
点击 创建模板 .
-
输入模板名称及(可选)描述。
-
通过下拉菜单设置字段类型映射:左侧选择(或创建)字段名称,右侧选择字段类型。
-
(可选)点击 添加映射 以包含此配置文件的额外映射。
-
点击 创建配置文件 .
您也可以在 字段类型配置 页面创建配置文件:
-
前往 系统 > 索引 .
-
选择任意索引集以加载其详情页面。
-
从右上角 配置索引字段类型 的 配置 菜单中选择。
-
选择要包含在映射中的字段。必要时可跨页选择多个字段。
-
在 批量操作 菜单中点击 创建新配置文件 。
-
输入配置文件名称及(可选)描述。
-
在 设置映射 下根据需要调整字段名称和字段类型。您也可以通过点击 添加映射 .
-
点击 创建配置文件 .
警告
更改字段类型可能对日志采集产生重大影响。选择与所采集日志不兼容的字段类型可能导致采集错误。建议 启用失败处理 并密切监控 处理与索引失败 数据流。
无论采用哪种方法,配置文件创建后均不会自动分配给索引集。您可在 字段类型配置文件 标签页中查看和编辑配置。
将配置文件分配给索引集
您可以通过 索引与索引集 页面(位于 系统 > 索引 :
-
点击 编辑 需要更新的索引集。
-
在 索引集配置 项下,从下拉菜单中选择目标配置。
-
点击 更新索引集 .
为索引集分配配置文件后,必须旋转索引才能使更改生效。具体操作如下:
-
进入索引集详情页面。
-
从 旋转活动写入索引 菜单中选择 维护 。
您也可以通过 字段类型配置 页面分配或移除配置文件:
-
从 索引与索引集 页面(位于 系统 > 索引 下)选择任意索引集以加载其详情页面。
-
点击右上角 配置索引字段类型 ,从 配置 菜单中选择。
-
点击 编辑 图标,针对 字段类型映射配置文件 字段。
-
在对话框中,从下拉菜单中选择所需配置文件。
-
点击 设置配置文件 .
注意
分配或移除配置文件需要您旋转索引才能使更改生效。
更改后旋转受影响的索引 复选框默认已选中,因此此更改会自动进行。如果清除复选框,则必须按照
上文所述
手动旋转索引。当为索引集分配配置文件后,您可以临时覆盖 配置 页面上的配置文件设置(如上所述)。此功能在需要以不同设置执行特定搜索而不更改配置文件设置时非常有用。
管理字段类型配置文件
在 字段类型配置文件 选项卡中,您可以创建、查看和管理索引集字段类型配置文件。列表视图显示所有配置文件。使用筛选器可限制列表或通过关键词查找特定配置文件。
其中 自定义字段映射 列显示存在的自定义字段映射数量。点击数字可查看映射。列表视图还会显示配置文件分配到的所有索引集。
与 安全数据湖 中的其他实体列表一样,您可以显示或隐藏列并修改其排序方式。如上所述,通过点击 创建配置文件 .
编辑配置文件
警告
更新或移除当前已分配给索引集的配置文件时需谨慎,以避免意外结果。
您可以在 字段类型配置文件 选项卡中编辑配置文件。点击配置文件上的 编辑 ,然后更新信息。您可以更改现有字段类型映射,以及添加或删除映射。
您也可以在此页面移除任意配置文件。从列表视图中选择 更多 > 删除 即可永久删除配置文件。
流感知字段类型
流感知字段类型允许您将数据流映射到相关字段类型。这能根据您选择的数据流提供精确的字段类型建议。
注意
该功能默认禁用以减少性能影响。如需启用,您可以在
安全数据湖
配置文件中通过设置
stream_aware_field_types
配置属性为
stream_aware_field_types=true
.
当配置属性
stream_aware_field_types
在
true
安全数据湖
服务器配置文件中被设置为
时,
安全数据湖
会定期从搜索后端收集流-字段关系信息,并据此仅提供查询所用数据流中存在的字段。
若所有数据流均指向专用且独立的索引集,建议保持
stream_aware_field_types
属性的默认值false。这将降低搜索后端的负载,且跨索引集的流分离有助于为查询显示正确字段。反之,若多个数据流指向相同索引集且您需要精确字段类型和建议,则可将其设为true。
例如,在下图中我们选择了 Illuminate:O365消息 数据流,此时 字段 列表位于屏幕左侧,根据此数据流显示建议的字段类型。
重要提示
启用此功能后,最佳实践是监控数据节点(ES或OS)负载,尤其是在使用大量数据流和字段时。