[英]Unable to run kafka connect datagen inside kafka connect docker image
我正在嘗試在 kafka-connect 容器中運行 kafka datagen 連接器,並且我的 kafka 使用以下命令駐留在 AWS MSK 中: https://github.com/confluentinc/kafka-connect-datagen/blob/master/Dockerfile-confluenthub 。
我正在使用 kafdrop 作為 kafka 代理(MSK)的 web 瀏覽器。 我沒有看到 Kafka 數據生成生成任何測試消息。 除了安裝 kafka-datagen 連接器外,我還需要做其他配置嗎
另外,如何在 confluentinc/kafka-connect 圖像中檢查創建了哪些主題以及是否使用了消息?
Dockerfile 看起來像:
ARG BASE_PREFIX=confluentinc
ARG CONNECT_IMAGE=cp-kafka-connect
FROM $BASE_PREFIX/$CONNECT_IMAGE:6.1.0
ENV CONNECT_PLUGIN_PATH="/usr/share/java,/usr/share/confluent-hub-components"
RUN confluent-hub install --no-prompt confluentinc/kafka-connect-datagen:0.4.0
docker exec 51e32e20b292 bash -c 'echo $CONNECT_PLUGIN_PATH'
shows : /usr/share/java,/usr/share/confluent-hub-components
[appuser@88db8385b575 ~]$ ls -la /usr/share/confluent-hub-components/
total 20
drwxr-xr-x 1 appuser appuser 4096 Mar 26 21:19 .
drwxr-xr-x 1 root root 4096 Feb 4 21:10 ..
drwxr-xr-x 6 appuser appuser 4096 Mar 26 18:00 confluentinc-kafka-connect-datagen
[appuser@88db8385b575 ~]$ ls -la /usr/share/confluent-hub-components/confluentinc-kafka-connect-datagen/
total 28
drwxr-xr-x 6 appuser appuser 4096 Mar 26 18:00 .
drwxr-xr-x 1 appuser appuser 4096 Mar 26 21:19 ..
drwxr-xr-x 2 appuser appuser 4096 Mar 26 18:00 assets
drwxr-xr-x 4 appuser appuser 4096 Mar 26 18:00 doc
drwxr-xr-x 2 appuser appuser 4096 Mar 26 18:00 etc
drwxr-xr-x 2 appuser appuser 4096 Mar 26 18:00 lib
-rw-r--r-- 1 appuser appuser 1380 Mar 26 18:00 manifest.json
Docker 日志:
docker logs 51e32e20b292 | grep "DatagenConnector"
"connector.class": "io.confluent.kafka.connect.datagen.DatagenConnector",
"connector.class": "io.confluent.kafka.connect.datagen.DatagenConnector",
我剛剛添加了 dockerfile 並在 dockerfile 中運行 RUN confluent-hub install --no-prompt confluentinc/kafka-connect-datagen:0.4.0。 沒有其他的。 沒有錯誤日志。
僅此一項並不能運行連接器,僅使其可用於 Connect API。 請注意文檔https://github.com/confluentinc/kafka-connect-datagen#run-connector-in-docker-compose中的 curl 示例
因此,公開端口 8083 並請求添加連接器,並確保在運行容器時添加所有相關的環境變量
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.