如何正確地將 opensearch 配置為 logstash output，出現主機無法訪問錯誤

Question

所以我目前連接到一個 contabo 托管的 kube.netes 集群。 在那里我運行了 kafka 和 opensearch/opensearch 儀表板部署。 我正在嘗試運行 logstash，以便我可以從 kafka 主題獲取數據到 opensearch， https://hub.docker.com/r/opensearchproject/logstash-oss-with-opensearch-output-plugin這是圖像我用於 logstash（ https://justpaste.it/47676這是我的 logstash 配置）。 下面是我的 opensearch 配置https://justpaste.it/a090p當我部署 logstash 時，我成功地從 kafka 主題中獲取數據，所以我的輸入插件按預期工作，但 output 不是，我失敗了output 數據從 logstash 打開搜索。 以下是來自 logstash pod 的日志： https://justpaste.it/620g4 。

這是“kubectl get services”的output

NAME                                  TYPE           CLUSTER-IP       EXTERNAL-IP   
PORT(S)                               AGE
dashboards-opensearch-dashboards      ClusterIP      10.96.114.252    <none>        5601/TCP                              5d20h
grafana                               ClusterIP      10.107.83.28     <none>        3000/TCP                              44h
logstash-service                      LoadBalancer   10.102.132.114   <pending>     5044:31333/TCP                        28m
loki                                  ClusterIP      10.99.30.246     <none>        3100/TCP                              43h
loki-headless                         ClusterIP      None             <none>        3100/TCP                              43h
my-cluster-kafka-0                    NodePort       10.101.196.50    <none>        9094:32000/TCP                        53m
my-cluster-kafka-1                    NodePort       10.96.247.75     <none>        9094:32001/TCP                        53m
my-cluster-kafka-2                    NodePort       10.98.203.5      <none>        9094:32002/TCP                        53m
my-cluster-kafka-bootstrap            ClusterIP      10.111.178.24    <none>        9091/TCP,9092/TCP,9093/TCP            53m
my-cluster-kafka-brokers              ClusterIP      None             <none>        9090/TCP,9091/TCP,9092/TCP,9093/TCP   53m
my-cluster-kafka-external-bootstrap   NodePort       10.109.134.74    <none>        9094:32100/TCP                        53m
my-cluster-zookeeper-client           ClusterIP      10.98.157.173    <none>        2181/TCP                              54m
my-cluster-zookeeper-nodes            ClusterIP      None             <none>        2181/TCP,2888/TCP,3888/TCP            54m
opensearch-cluster-master             ClusterIP      10.98.55.121     <none>        9200/TCP,9300/TCP                     19h
opensearch-cluster-master-headless    ClusterIP      None             <none>        9200/TCP,9300/TCP                     19h
prometheus-operated                   ClusterIP      None             <none>        9090/TCP                              25m
prometheus-operator                   ClusterIP      None             <none>        8080/TCP                              50m

我做錯了什么以及如何建立這種聯系？

Answer 1

我想到了。 我認為它期待 ssl 證書，這就是它拒絕連接的原因。 我“修復”這個問題的方法（因為我現在不需要該項目的 ssl 認證）是我以這種方式更改了 logstash 配置。

  logstash.conf: |
    input {
        kafka{
          codec => json
          bootstrap_servers => "10.111.178.24:9092"
          topics => ["t_events"]
        }
    }
    output {
       opensearch {
          hosts       => ["https://10.102.102.109:9200"]
          ssl_certificate_verification => false
          user        => "admin"
          password    => "admin"
          index       => "logstash-logs-%{+YYYY.MM.dd}"
        }
    }

所以我在配置中添加了“ssl_certificate_verification => false”行，這使我能夠從 logstash 連接到 opensearch 並發送數據。 現在我通過使用 https 協議進行了數據加密，但我缺少 ssl 身份驗證，我對此項目很好。