卡夫卡偏移卡在消費者組中

Question

我正在運行這個 kafka 命令：

/opt/kafka_2.11/bin/kafka-consumer-groups.sh --bootstrap-server xxxxx:9092 \
  --describe --group flink-cg

結果是這樣的：

TOPIC           PARTITION   CURRENT-OFFSET   LOG-END-OFFSET     LAG    
my_topic           0          481239571       484028280       2788709   

盡管我的 flink 正在運行並且日志文件中沒有錯誤，但偏移量仍然卡住。

如何檢查我的偏移量是否正確？ 我擔心我的當前偏移量有錯誤的數字，所以值被卡住了。

Answer 1

Flink Job 正在運行的唯一事實並不一定意味着偏移量應該改變。 這取決於您的作業的配置，但默認情況下，偏移量僅在檢查點上提交，因此首先要檢查的是您的作業是否正確進行檢查點（可能您在檢查點之間配置了很長時間）。

如果是，或者如果您啟用enable.auto.commit那么您應該檢查是否存在可能導致讀取記錄問題的某些操作員的背壓。

更容易判斷您是否可以提供有關配置和作業本身的更多信息。