AWS Elasticsearch 服務的 Fluentd 安裝說明

Question

我們使用 AWS Elasticsearch 服務。 我們想將 fluentd 安裝到我們的 Kube.netes 集群中。 Fluentd 將日志發送到 AWS Elasticsearch 服務。 它有關於如何做的任何說明嗎？ 在此鏈接https://docs.fluentd.org/v/0.12/articles/kube.netes-fluentd中，它顯示了將日志發送到 Elasticsearch Pod 的步驟。 這意味着 elasticsearch 安裝在 Kube.netes 集群中。

上面的鏈接顯示了在 fluentd-daemonset-elasticsearch.yaml（見下文）中對 elasticsearch pod 進行更改。 我需要對 AWS elasticsearch 服務進行哪些配置更改？

apiVersion: extensions/v1beta1
kind: DaemonSet
metadata:
  name: fluentd
  namespace: kube-system
  ...
spec:
    ...
    spec:
      containers:
      - name: fluentd
        image: quay.io/fluent/fluentd-kubernetes-daemonset
        env:
          - name:  FLUENT_ELASTICSEARCH_HOST
            value: "elasticsearch-logging"
          - name:  FLUENT_ELASTICSEARCH_PORT
            value: "9200"
            ......

Answer 1

假設您具有所需的連接性。 例如，Kube.netes 和 Elasticsearch 在同一個VPC上，或者如果在不同的 VPC 中配置了VPC 對等。

此外，您有防火牆規則（ 安全組）以允許端口9200從 Kube.netes 到 Elasticsearch 集群。

它應該是直截了當的（只需將配置指向 AWS Elasticsearch 集群端點）：

apiVersion: extensions/v1beta1
kind: DaemonSet
metadata:
  name: fluentd
  namespace: kube-system
  ...
spec:
    ...
    spec:
      containers:
      - name: fluentd
        image: quay.io/fluent/fluentd-kubernetes-daemonset
        env:
          - name:  FLUENT_ELASTICSEARCH_HOST
            value: "vpc-domain-name-identifier.region.es.amazonaws.com" 👈
          - name:  FLUENT_ELASTICSEARCH_PORT
            value: "9200"
            ......

這是在您使用 VPC 的情況下。 如果您以這種方式配置集群，也可以使用公共端點 Elasticsearch。 （但由於您正在通過公共雲，因此安全性較低）。 像這樣：

https://search-domain-name-identifier.region.es.amazonaws.com

✌️