卡夫卡连接。 如何为连接器启用jmx指标

Question

如何为Kafka连接器启用jmx指标？ 我正在运行connect distributed。

我在kafka-run-class.sh启用了JMX_PORT ，为Kafka启用了jmx指标。

现在虽然它已经开始给我很多与Kafka相关的指标，但我仍然看不到下面链接http://kafka.apache.org/documentation.html#connect_monitoring中提到的连接器特定指标。

以下域名可用

• JMImplementation
• com.sun.management
• java.lang中
• java.nio中
• java.util.logging中
• 卡夫卡
• kafka.cluster
• kafka.controller
• kafka.coordinator.group
• kafka.coordinator.transaction
• kafka.log
• kafka.network
• kafka.server
• kafka.utils

Answer 1

在评论中提到的问题 - 你确定你连接到正确的Java实例而不是Kafka 代理 JMX指标吗？ 因为kafka.server和kafka.controller不应该用于ConnectDistributed进程。 （您应该查看连接到的进程的主类）

只有一个属性， JMX_PORT ，它由Kafka代理和Kafka连接器（以及Zookeeper，Schema Registry，KSQL等）共享......如果你不为每个使用不同的端口，那么你尝试的每个下一个进程要运行，将无法启动，说一个端口已经打开

如果您拥有可用的硬件，或者可以在单个计算机（Docker或VM）上隔离组件，那么这是重新映射端口的简便方法。

否则，你需要做类似的事情

export JMX_PORT=35000 # pick a number 
zookeeper-server-start...
export JMX_PORT=35001 # pick a number 
kafka-server-start... 
export JMX_PORT=35002 # pick a number 
connect-distributed... 

然后，连接到每个JVM的相应端口

然后，当您对此感到满意时，我建议在生产部署设置上找到汇总白皮书，其中Connect（至少与所有其他生产商和消费者一样）正在运行实际的代理。