kinesis firehose stream 數據如何自我管理 elasticsearch？

Question

賞金將在 7 天后到期。 此問題的答案有資格獲得+100聲望賞金。 Moulick想引起對這個問題的更多關注：

從 AWS cloudwatch/Kinesis 獲取數據到自托管 elasticsearch 的簡單方法

我在 EKS 中托管 Elasticsearch 集群，我想通過 Kinesis Firehose 將 stream 的所有 cloudwatch 組到這個 Elasticsearch 集群。 但 AWS Kinesis firehose 不支持 stream 數據到 Elasticsearch 集群而不是 AWS 托管的 ES。

stream 數據到自托管 ES 集群的最佳方式是什么？

Answer 1

我認為最好的方法是使用Firehose 的 lambda function 。 為此，您必須選擇支持的目的地，例如 S3。 function 通常用於轉換記錄，但您可以編寫任何您想要的邏輯，包括將記錄上傳到自定義 ES。

如果您使用 Python，則 function 可以使用elasticsearch 層與您的自定義集群連接並將記錄注入其中。 elasticsearch是 python 到 ES 的接口，它適用於任何 ES 集群。

另一種方法是使用HTTP Endpoint 作為您的 Destination 。 在這種情況下，您可能在 ec2 容器上有一個小實例，該實例將從 firehose 獲取記錄，然后將它們推送到 ES。 就像以前一樣， elasticsearch庫可以與 Python 一起使用。