AWS Kinesis Firehose-使用索引旋轉（Elasticsearch）

Question

我已經建立了一個新的AWS Kinesis Firehose流，並且希望每周創建一個新索引。

為此，我應在配置流時使用“ Index Rotation設置。

但是，在接下來的下一周，我每個周末都必須使用新索引嗎？ 如果不是（希望不是）， Firehose如何知道要使用什么映射？ 它是否使用我在“ Index設置中指定的索引中定義的映射？

此外，可以說我有舊數據，我可以讓Firehose根據我的舊數據中指定的日期創建帶有相關時間戳的索引嗎？

謝謝 ！

Answer 1

您是否嘗試過考慮在彈性搜索中創建索引模板。 通過這種方式，新索引將選擇索引模板中定義的映射。

詳情請參閱以下鏈接

https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-templates.html

Answer 2

好吧，顯然答案是肯定的， 但是方式很糟糕。

如果Firehose將數據推送到未使用映射預先定義的新索引，則該數據將被攝取到Elasticsearch並自動為您創建映射。

這真的很糟糕。

您應該在活動開始前1-2小時自動創建索引。 我將發布一個Lambda函數及其配置，以自動執行此操作。