在 Confluent 控制中心找不到連接器

Question

我正在使用 Confluent Platform 學習 kafka。 我已經按照他們的 docker 快速入門指南進行了操作。 但是當我嘗試為該主題生成模擬數據時，我找不到他們指南中的連接器。 然后我花了幾天時間嘗試使用融合的集線器客戶端添加連接器。 我已經下載了tar.gz文件並解壓了它。 作為他們的文檔，包含confluent-hub文件到路徑變量的/bin文件夾的路徑。 然后我使用confluent-hub install confluentinc/kafka-connect-datagen:0.1.1命令。 但它顯示以下錯誤。

/c/Program Files/Docker Toolbox/bin/confluent-hub: line 13: cd: /c
Files
Toolbox/bin/../share/java: No such file or directory
Error: Could not find or load main class io.confluent.connect.hub.cli.ConfluentHubClient

此外，我正在使用安裝在我的 Windows 機器上的 docker 工具包。 有人可以幫我解決這個問題。

非常感謝您提前！

Answer 1

confluent-hub需要在容器內運行，而不是從你的 Windows 機器上運行。

另一種方法是自己下載 DataGen JAR，然后將它們批量安裝到連接映像的plugin.path下的容器中。

Answer 2

我想出了同樣的問題，試圖安裝“mongodb/kafka-connect-mongodb:1.0.1”。

我按照@cricket_007 在評論中寫的教程解決了我的問題。

在使用圖像“confluentinc/cp-kafka-connect”或“cp-kafka-connect-base”的 docker-compose 中創建添加服務，並運行命令以通過 confluent-hub 客戶端安裝連接器。

kafka-connector:
  image: confluentinc/cp-kafka-connect:5.3.3
  [...]
  command: 
    - bash 
    - -c 
    - |
      confluent-hub install confluentinc/kafka-connect-datagen:0.1.1
      /etc/confluent/docker/run

或者您可以使用更直接的解決方案

kafka-connector:
  image: confluentinc/kafka-connect-datagen

就我而言，我不得不使用第一個解決方案，因為圖像 'mongodb/kafka-connect-mongodb:1.0.1' 不可用。