为什么在亚马逊 AWS ElasticSearch 前使用 AWS Kinesis Firehose

Question

我看到几个应用程序将数据发送到 AWS Kinesis Firehose，然后自动传输到 AWS ElasticSearch。 您可以直接写入 AWS ElasticSearch。 如果我不需要任何类型的数据转换并且我可以直接将数据写入 ElasticSearch，那么使用 AWS Kinesis Firehose 前置 ElasticSearch 仍然可以提供任何优势。 就像它是否可以保护 ElasticSearch 免受流量高峰等的影响？

Answer 1

除了转换之外，还可以考虑将 Firehose 放在 AWS ES 前面的以下原因：

1. 更好地控制流数据

由于 Elasticsearch 对写入队列大小有限制，如果数据在几秒钟内出现突发，如果 ES 无法将数据写入该有限数据中，则可能会抛出拒绝。 在这种情况下，您最终也会丢失被拒绝的数据。

但是，当 Firehose 保持在前面时，它会为您处理重试，并且数据丢失的可能性会更小。

2. Firehose 是 ES 的一种方式

您的 ES 集群可能包含机密数据，如果您允许用户发出 POST 请求（某些写入需要），您可能会将集群暴露给超过所需用户。 Firehose 可以通过仅授予对 FH stream 而不是 ES 集群的写入应用程序/用户访问权限来帮助您限制这种情况。