AWS Kinesis Firehose-使用索引旋转（Elasticsearch）

Question

我已经建立了一个新的AWS Kinesis Firehose流，并且希望每周创建一个新索引。

为此，我应在配置流时使用“ Index Rotation设置。

但是，在接下来的下一周，我每个周末都必须使用新索引吗？ 如果不是（希望不是）， Firehose如何知道要使用什么映射？ 它是否使用我在“ Index设置中指定的索引中定义的映射？

此外，可以说我有旧数据，我可以让Firehose根据我的旧数据中指定的日期创建带有相关时间戳的索引吗？

谢谢 ！

Answer 1

您是否尝试过考虑在弹性搜索中创建索引模板。 通过这种方式，新索引将选择索引模板中定义的映射。

详情请参阅以下链接

https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-templates.html

Answer 2

好吧，显然答案是肯定的， 但是方式很糟糕。

如果Firehose将数据推送到未使用映射预先定义的新索引，则该数据将被摄取到Elasticsearch并自动为您创建映射。

这真的很糟糕。

您应该在活动开始前1-2小时自动创建索引。 我将发布一个Lambda函数及其配置，以自动执行此操作。