索引模型

若需更灵活的操作方式， 安全数据湖 REST API同样支持自动化创建归档。

以下示例使用curl命令归档索引。该命令会在 安全数据湖 服务器中启动系统任务，为索引 graylog_386 .

system_job.id 用于检查任务进度。

$ curl -s -u admin -H 'X-Requested-By: cli' -X POST http://127.0.0.1:9000/api/plugins/org.graylog.plugins.archive/archives/graylog_386
输入用户'admin'的主机密码: ***************
{
   "archive_job_config" : {
     "archive_path" : "/tmp/graylog-archive",
     "max_segment_size" : 524288000,
     "segment_filename_prefix" : "archive-segment",
     "metadata_filename" : "archive-metadata.json",
     "source_histogram_bucket_size" : 86400000,
     "restore_index_batch_size" : 1001,
     "segment_compression_type": "SNAPPY"
   },
   "system_job" : {
     "id" : "cd7ebfa0-079b-11e6-9e1b-fa163e6e9b8a",
     "description" : "归档索引并删除",
     "name" : "org.graylog.plugins.archive.job.ArchiveCreateSystemJob",
     "info" : "正在归档索引中的文档: graylog_386",
     "node_id" : "c5df7bff-cafd-4546-ac0a-5ccd2ba4c847",
     "started_at" : "2016-04-21T08:34:03.034Z",
     "percent_complete" : 0,
     "provides_progress" : true,
     "is_cancelable" : true
   }
 }

REST API还可自动化执行其他归档相关任务，例如：

建议您探索REST API浏览器，该功能位于 系统 > 节点 .

要通过界面恢复归档：

您也可以通过搜索框旁的 批量操作 下拉菜单恢复或删除多个索引集。

与创建归档类似，您也可以使用REST API将归档索引恢复到OpenSearch集群中：

$ curl -s -u admin -H 'X-Requested-By: cli' -X POST http://127.0.0.1:9000/api/plugins/org.graylog.plugins.archive/archives/graylog_386/restore
输入用户'admin'的主机密码：***************
{
   "archive_metadata": {
     "archive_id": "graylog_307",
     "index_name": "graylog_307",
     "document_count": 491906,
     "created_at": "2016-04-14T14:31:50.787Z",
     "creation_duration": 142663,
     "timestamp_min": "2016-04-14T14:00:01.008Z",
     "timestamp_max": "2016-04-14T14:29:27.639Z",
     "id_mappings": {
       "streams": {
         "56fbafe0fb121a5309cef297": "nginx请求"
       },
       "inputs": {
         "56fbafe0fb121a5309cef290": "nginx错误日志",
         "56fbafe0fb121a5309cef28d": "nginx访问日志"
       },
       "nodes": {
         "c5df7bff-cafd-4546-ac0a-5ccd2ba4c847": "graylog.example.org"
       }
     },
     "histogram_bucket_size": 86400000,
     "source_histogram": {
       "2016-04-14T00:00:00.000Z": {
         "example.org": 227567
       }
     },
     "segments": [
       {
         "path": "archive-segment-0.gz",
         "size": 21653755,
         "raw_size": 2359745839,
         "compression_type": "SNAPPY"
         "checksum": "751e6e76",
         "checksum_type": "CRC32"
       }
     ],
     "index_size": 12509063,
     "index_shard_count": 4
   },
   "system_job": {
     "id": "e680dcc0-07a2-11e6-9e1b-fa163e6e9b8a",
     "description": "从归档中恢复索引",
     "name": "org.graylog.plugins.archive.job.ArchiveRestoreSystemJob",
     "info": "正在从归档索引恢复文档：graylog_307",
     "node_id": "c5df7bff-cafd-4546-ac0a-5ccd2ba4c847",
     "started_at": "2016-04-21T09:24:51.468Z",
     "percent_complete": 0,
     "provides_progress": true,
     "is_cancelable": true
   }
 }

返回的JSON负载包含归档元数据和运行索引恢复过程的系统任务描述。

已恢复索引带来的额外负载会降低索引速度。为避免给主OpenSearch集群增加更多负载，您也可以在其他集群上恢复归档索引：

每个索引归档都位于独立目录中，因此若只需转移单个索引，只需将对应目录复制到后端存储。例如：

$ tree /tmp/graylog-archive
  /tmp/graylog-archive
  ├── graylog_171
  │   ├── archive-metadata.json
  │   └── archive-segment-0.gz
  ├── graylog_201
  │   ├── archive-metadata.json
  │   └── archive-segment-0.gz
  ├── graylog_268
  │   ├── archive-metadata.json
  │   └── archive-segment-0.gz
  ├── graylog_293
  │   ├── archive-metadata.json
  │   └── archive-segment-0.gz
  ├── graylog_307
  │   ├── archive-metadata.json
  │   └── archive-segment-0.gz
  ├── graylog_386
  │   ├── archive-metadata.json
  │   └── archive-segment-0.gz
  └── graylog_81
      ├── archive-metadata.json
      └── archive-segment-0.gz
  7 directories, 14 files