跳至主内容

Illuminate数据增强

Illuminate功能包括通过附加数据增强事件，帮助构建事件上下文。该功能贯穿Illuminate核心模块及多个处理包。本文重点介绍Illuminate核心模块添加和使用的数据增强功能。

部分Illuminate提供的查询功能支持用户自定义，具体说明详见相关查询描述。

严重性映射增强

事件日志和警报通常会被分配严重性等级，可能以纯文本或数值形式呈现。严重性映射查询用于确保当仅定义文本或数值时，能自动补全对应值。

Illuminate核心模块包含的严重性映射查询：

  • illuminate-mapping-alert-severity-to-level ：当消息包含 alert_severity 值但未包含 alert_severity_level 字段时，此映射用于定义级别值。

  • illuminate-mapping-level-to-alert-severity ：当消息包含 alert_severity_level 数值但未包含 alert_severity 值时，此映射用于定义严重性值。

  • illuminate-mapping-event-severity-to-level ：当消息包含 event_severity 值但未包含 event_severity_level 字段时，此映射用于定义级别值。

  • illuminate-mapping-event-level-to-severity ：当消息包含 event_severity_level 数值但未包含 event_severity 值时，此映射用于定义严重性值。

警告

这些查找表 不应 被自定义。

GIM数据增强

此查找表接收 gim_event_type_code 值并定义以下字段：

  • gim_event_class

  • gim_event_category

  • gim_event_subcategory

  • gim_event_type

警告

GIM事件数据映射查找表是 core_gim_data_lookup 。该查找表 不应 被自定义修改。

网络范围增强查找

Illuminate支持为日志中定义的源、目标和主机系统定义分类字段。此增强功能将检查字段 source_ip , destination_ip 和 host_ip 。若这些字段中的IP地址属于已添加到网络范围查找表的范围，则该查找表中定义的任何分类值将被分配给字段 source_category , destination_category 或 host_category 。

安装 Security Data Lake Illuminate并启用任何内容包后，系统将添加一个查找表适配器，标题为 core_networks_adapter 。您可向此查找表适配器添加条目，并提供将添加到传入日志中的一个或多个分类值。

基于网络范围定义主机类别

警告

为修改目标查找表适配器添加自定义条目时需谨慎操作。

  1. 导航至 企业版 > Illuminate 在 安全数据湖 界面中。

  2. 点击 自定义 标签页（位于 Illuminate 页面左上角）。此处将显示Illuminate查找适配器列表。

  3. 找到名为 core_networks_lookup 的查找适配器，并选择该适配器条目右侧的 编辑 按钮。您将看到一个键列名为 ip范围 、值列名为 ip类别数据 .

  4. 在 CIDR格式 的 ip范围 列中添加IP范围（支持IPv4和IPv6）。

  5. 添加一个或多个类别值，每个类别值用竖线字符（ | )，在 IP分类数据 列中。

建议仅使用字母数字字符，并用下划线（ _ ）等替代字符替换空格，以简化对这些分类值的搜索。

HTTP数据增强适配器

这些查找功能将用有用的数据修改一些常见的HTTP字段。该组包含两个查找适配器：

  1. lookup_http_class

  2. lookup_http_response

当检测到 http_response_code 字段已定义时，Illuminate将用以下两个字段增强这些事件：

网络协议增强

这些查找功能将基于与网络相关事件日志关联字段的存在来增强事件。

网络协议

某些网络事件源会提供一个代表 IANA注册协议号 的数值（应将该数值分配给字段 network_iana_number ）但不会提供协议名称。该增强功能通过名为 core_iana_to_network_transport 的查找适配器进行查询，当仅定义 network_iana_number 时，将利用该数值确定协议名称，并赋值给字段 network_transport .

保留/不可路由地址识别

此查询将检查关键字段：

  • source_ip

  • destination_ip

  • host_ip

当存在这些字段时，将使用名为 core_ip_processing_reserved_ip_ranges_adapter 的适配器进行查询，以识别任何保留IP地址范围的使用情况。所使用的保留范围包括：

范围

标签后缀

192.168.0.0/16, 172.16.0.0/12, 10.0.0.0/8, RFC1918

reserved_ip , rfc1918 , is_internal

127.0.0.0/8, RFC1122 ：参见第3.2.1.3节关于回环地址的说明

reserved_ip , is_internal , is_loopback , rfc1122

169.254.0.0/16, RFC3927 : IPv4链路本地寻址（又称APIPA寻址）

reserved_ip , is_internal , rfc3297

224.0.0.0/4, RFC3171 : IPv4组播寻址

multicast , reserved_ip , rfc3171

fe80::/10, ff00::/8, ::1/128, ::/128, ::FFFF:0:0/96, RFC4291 : 参见第2.4节，IPv6地址架构

reserved_ip , is_internal , rfc4291

fc00::/7, RFC4193 参见第3.1节，IPv6唯一本地单播寻址

保留IP , 内部使用 , rfc4193

2002::/16, RFC3056 ：IPv4的IPv6封装

保留IP , 6转4 , rfc3056

2001::/32, RFC4380 ：Teredo隧道

保留IP , teredo , rfc4380

192.0.2.0/24, 198.51.100.0/24, 203.0.113.0/24, RFC5737 ：用于文档编制的IPv4保留地址块

保留IP , 非法地址 , rfc5737

198.18.0.0/15, RFC2544 ：用于基准测试的IPv4保留地址

保留IP , 内部使用 , rfc2544

2001:db8::/32, RFC3849 ：用于文档编制的IPv6保留地址块

保留IP , 非法 , rfc3849

2001:10::/28, RFC4843 ：Orchid路由

保留IP , rfc4843

当关键字段中的IP地址属于任一已识别范围时，Illuminate将检测到并向 gim_tags 字段添加值。所添加的值包含一些通用值及特定范围的值，这些值会以Illuminate识别出的关键字段上下文作为前缀。例如，若 源IP 值为IP地址 192.0.2.10 ，Illuminate将向该字段添加以下值： gim_tags 字段：

  • source_reserved_ip

  • source_is_illegal

  • source_rfc5737

本节内容 :