如何激活和配置ElasticSearch Kafka Connect接收器？

Question

我正在嘗試使用頭盔在Kubernetes集群中設置Kafka。

我已經使用了非常完善的Confluent掌舵圖來安裝Kafka。

然后，我嘗試查看如何配置彈性Kafka連接接收器 。 有一點特別confluent load elasticsearch-sink我： confluent load elasticsearch-sink命令。 啟動容器時如何重現？ 此外，要配置彈性，我必須設置一個屬性文件。 我可以使用ConfigMap嗎？ 但是我很困惑，因為我必須更改由頭盔生成的YAML配置，這似乎沒有那么可重復...

有人建議嗎？

Answer 1

有一點特別confluent load elasticsearch-sink ： confluent load elasticsearch-sink命令

confluent命令只能在localhost開發/入門環境中使用 。 因此，它不會了解Kubernetes（例如，您需要一個Ingress控制器來公開Connect REST API）。

我可以使用ConfigMap嗎？

我認為那是不正確的。 至少不要在Kafka Connect的操作員框架之外（如果存在）。

通過JSON REST API配置 Connect。

因此，在啟動時也無法加載配置。 需要手動對其進行POST，然后該配置將保留在Kafka的CONNECT_CONFIG_STORAGE_TOPIC中。

在內部， curl -XPOST -H 'Content-Type: application/json' -d${file} localhost:8083/connectors confluent load實際上是一個curl -XPOST -H 'Content-Type: application/json' -d${file} localhost:8083/connectors