Kafka 复制因子 JMX

Question

当我复制我的消息时，我正在尝试收集一些 Kafka Telemetry 。

当我在 3 个实例中复制记录时，我认为我的瓶颈在 .network 中RF=3

我需要数据来支持我的理论，那么我们是否有任何JMX数据可以告诉我在Grafana中在三台机器中复制一条记录需要多少时间。

问候。

Answer 1

查看kafka.network:type=RequestMetrics指标。 有一些指标可以跟踪处理领导者的生产请求所花费的时间以及等待追随者复制记录所花费的时间。 它们在 Kafka 文档的监控部分中突出显示：

• kafka.network:type=RequestMetrics,name=TotalTimeMs,request=Produce ：处理生产请求所花费的总时间
• kafka.network:type=RequestMetrics,name=LocalTimeMs,request=Produce : 领导者处理生产请求所花费的时间
• kafka.network:type=RequestMetrics,name=RemoteTimeMs,request=Produce : 等待关注者的时间

还有一些其他指标，包括RequestQueueTimeMs 、 ResponseQueueTimeMs 、 ResponseSendTimeMs ，每个指标都衡量代理在处理请求时采取的不同步骤。

所有这些指标都有一些属性，例如各种百分位数、最小值、最大值等，您应该监控这些属性以识别集群中的潜在瓶颈。