如何在Kafka中驗證分區或主題的大小？

Question

我想在Kafka生成記錄之前驗證分區大小。

我有一個自定義的分區類，它為我提供了應該在其中放入消息的確切分區號。

現在，我的要求是我想在發送記錄之前檢查分區的大小。

 List<String> users = userService.findAllUsers();
            for (String user : users) {
            String msg = "Hello " + user;
            //Check size here
          producer.send(new ProducerRecord<String, String>(topic, user, msg), new Callback() {
                    public void onCompletion(RecordMetadata metadata, Exception e) {
                        if (e != null) {
                            e.printStackTrace();
                        }
                    }
                });

卡夫卡有什么辦法可以做到這一點？

Answer 1

容量純粹是卡夫卡經紀人級別的方面。 基本上，如果代理的數據目錄中有磁盤空間，則可以傳遞消息。 消息將由代理根據時間和分區大小（在代理配置中）進行清理，因此，如果相應地配置代理，則可能總是有空間-舊消息只會被丟棄。 但是，它可能不適合您的業務用例。

此外，回應您的評論Can we check size of Topic ，你其實可以通過檢查分區的當前大小beginningOffsets ＆ endOffsets方法KafkaConsumer 。 請注意，如果分區不存在（至少在0.10.2 ），這些方法可能會阻塞。 例如，當您請求分區4的數據時，主題實際上包含3個分區。

Kafka 0.11在客戶端中引入了管理功能，但仍在進行中。