卡夫卡主題分區

Question

Kafka Topic分區偏移量位置始終從0或隨機值開始，如何確保使用者記錄是分區中的第一條記錄？ 有什么辦法找出來嗎？ 如果有的話請告訴我。 謝謝。

Answer 1

是的，沒有。

當您開始一個新主題時，偏移量從零開始。 根據您使用的Kafka版本，偏移量為

• 邏輯 -並逐條消息遞增消息（自0.8.0： https ：//issues.apache.org/jira/browse/KAFKA-506開始）-或
• 物理的 -即，偏移量增加了每個消息的字節數。

此外，可以通過可配置的條件清除舊的日志條目：

• 保留時間：例如，僅保留上周的消息
• 保留大小：例如，最大使用10GB的存儲空間； 刪除無法再存儲的舊消息
• log-compaction（自0.8.1開始）：您僅保留每個鍵的最新值（請參閱https://cwiki.apache.org/confluence/display/KAFKA/Log+Compaction ）

因此，如果刪除舊消息，則第一個偏移量可能不會為零 。 此外，如果打開對數壓縮，則可能會缺少一些偏移量。

無論如何，您總是可以安全地尋找任何偏移量，因為Kafka可以找出偏移量是否有效。 對於無效的偏移量，會自動前進到下一個有效的偏移量。 因此，如果您尋求偏移零，則將始終獲得存儲的最舊消息。

Answer 2

是的 ，Kafka偏移量從0開始，以完整記錄的字節長度結束，然后下一條記錄從此處開始選擇偏移量。

由於Kafka是分布式的，因此我們不能保證Consumer將以有序方式獲取數據。