Alpakka kafka 消費者抵消

Question

我在 scala 中使用 Alpakka-kafka 來使用 Kafka 主題。 這是我的代碼：

    val kafkaConsumerSettings: ConsumerSettings[String, String] =
      ConsumerSettings(actorSystem, new StringDeserializer, new StringDeserializer)
        .withBootstrapServers(kafkaConfig.server)
        .withGroupId(kafkaConfig.group)
        .withProperties(
          ConsumerConfig.MAX_POLL_RECORDS_CONFIG       -> "100",
          ConsumerConfig.AUTO_OFFSET_RESET_CONFIG      -> "earliest",
          CommonClientConfigs.SECURITY_PROTOCOL_CONFIG -> "SSL"
        )

    Consumer
        .plainSource(kafkaConsumerSettings, Subscriptions.topics(kafkaConfig.topic))
        .runWith(Sink.foreach(println))

但是，消費者僅從主題中的第一條未提交消息開始輪詢。 無論提交的消息如何，我都希望始終從偏移量 0 開始。 使用 Alpakka 消費者，如何手動指定偏移量？

Answer 1

我想你想添加幾個配置條目：

1. ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG -> False所以你的工作永遠不會保存任何偏移量

2. ConsumerConfig.AUTO_OFFSET_RESET_CONFIG -> "earliest"所以你的工作從頭開始。

如果您的工作過去已經提交了偏移量，您可能必須將其偏移量重置為最早。