AWS ElasticSearch 服务和数据流

Question

AWS ElasticSearch 服务 (OpenDistro) 不支持DataStreams吗？ 我今天尝试使用 AWS ElasticSearch 服务创建数据 stream，但无法执行任何操作。 试图获取数据流列表只是返回

{
    "Message": "Your request: '/_data_stream' is not allowed."
}

根据这里的 X-Pack 文档，它指出6.3之后的所有 elasticsearch 版本默认情况下都会有 X-Pack，我在 AWS ElasticSearch 服务上使用 elasticsearch 7.10版。

我在文档中找不到任何明确说明是否支持的内容。 如果有人可以提供有关此的更多信息，那将是一个很大的帮助。

Answer 1

不支持，AWS Elasticsearch Service 和 Elasticsearch 有一些区别。

数据流是一项仅在由 Elastic 自己分发的 Elasticsearch 中可用的功能，在 Elastic License 下获得许可。

AWS 使用了开源版 Elasticsearch 的一个 fork，所有带有x-pack标签的功能都只能在 Elastic license 下使用，有些是免费的，有些是付费的，但是在 OSS 版本中是没有的，AWS 使用的。

从 7.11 版起，Elastic更改了许可证，现在可在两个许可证下使用，Elastic 和 SSPL，它们都不允许 AWS 从 7.11 版开始将 Elasticsearch 作为服务出售。

这导致 AWS 在一个名为 Opensearch 的新项目中分叉了最新版本 7.10.2，并且 AWS Elasticsearch Service 将更名为AWS Opensearch Service 。

Answer 2

AWS版本ElasticSearch，OpenSearch，现在支持数据流。 在此处查看官方文档。

要创建数据 stream，只需使用以下配置创建一个新索引，

PUT _index_template/logs-template
{
  "index_patterns": [
    "my-data-stream", // This is the DS index pattern. It can contain wildcards.
  ],
  "data_stream": {},  // This tells OpenSearch to create index as DS.
  "priority": 100
}

数据 stream 是 OpenSearch 在幕后创建的索引集合。 您仍将在主索引my-data-stream上查询和管理数据，但 OpenSearch 将在内部创建格式为.ds-<name_of_index>-0000001的索引。

您还可以在主索引上定义“策略”，如滚动策略或删除策略，以管理旧数据，例如重新索引超过 30 天的数据。 OpenSearch 将在 30 天后创建一个名为0000002的新索引，并在0000001数据集上应用您指定的策略。

您可以使用检查系统中定义的所有数据流，

GET /_data_stream