kinesis firehose stream 数据如何自我管理 elasticsearch？

Question

赏金将在 7 天后到期。 此问题的答案有资格获得+100声望赏金。 Moulick想引起对这个问题的更多关注：

从 AWS cloudwatch/Kinesis 获取数据到自托管 elasticsearch 的简单方法

我在 EKS 中托管 Elasticsearch 集群，我想通过 Kinesis Firehose 将 stream 的所有 cloudwatch 组到这个 Elasticsearch 集群。 但 AWS Kinesis firehose 不支持 stream 数据到 Elasticsearch 集群而不是 AWS 托管的 ES。

stream 数据到自托管 ES 集群的最佳方式是什么？

Answer 1

我认为最好的方法是使用Firehose 的 lambda function 。 为此，您必须选择支持的目的地，例如 S3。 function 通常用于转换记录，但您可以编写任何您想要的逻辑，包括将记录上传到自定义 ES。

如果您使用 Python，则 function 可以使用elasticsearch 层与您的自定义集群连接并将记录注入其中。 elasticsearch是 python 到 ES 的接口，它适用于任何 ES 集群。

另一种方法是使用HTTP Endpoint 作为您的 Destination 。 在这种情况下，您可能在 ec2 容器上有一个小实例，该实例将从 firehose 获取记录，然后将它们推送到 ES。 就像以前一样， elasticsearch库可以与 Python 一起使用。