如何在向主題推送/消費消息時測量kafka上的性能指標

Question

使用制作人推送了消息。 它向該主題推送了100000條消息。

使用命令：bin / kafka-producer-perf-test.sh --broker-list localhost：9092 --messages 100000 --topic perfAtlasTopic獲取以下生產者指標。

start.time，end.time，compression，message.size，batch.size，total.data.sent.in.MB，MB.sec，total.data.sent.in.nMsg，nMsg.sec [2015-02- 19 00：33：44,133] WARN屬性reconnect.interval無效（kafka.utils.VerifiableProperties）2015-02-19 00：33：44：020,2015-02-19 00：33：46：822,0， 100,200,9.54,3.4035,100000,35688.7937

使用命令：bin / kafka-consumer-perf-test.sh --zookeeper localhost：2181 --messages 100000 --topic perfAtlasTopic --threads 10.獲取以下消費者指標：

start.time，end.time，fetch.size，data.consumed.in.MB，MB.sec，data.consumed.in.nMsg，nMsg.sec 2015-02-19 00：53：13：480,2015- 02-19 00：53：53：128,1048576,289.0332,8.3420,100000,2886.1695

在生產者/消費者推送/消費該主題的消息之前獲得上述度量。

是否有任何方法可以在向主題推送/消費消息時測量性能指標？

謝謝

Answer 1

該數字顯示生成/消耗您指定的消息數量的指標（例如，在您的情況下，100000）。 在您的情況下，它顯示開始/結束時間，提取大小，消耗的MB數據（總共100000條消息），MB /秒，消耗的消息總數（當然為100000）和生成/消耗100000條消息的消耗的消息數/秒。 如果要在流式傳輸數據時繼續跟蹤指標，請嘗試以下操作：

for i in `seq 1 1000`; do kafka-producer-perf-test.sh --broker-list localhost:9092 --messages 100000 --topic perfAtlasTopic; done

這將運行測試1000次。 您可以更改要運行的次數。