如何抑制 Spring Cloud Kafka Streams 中的窗口聚合结果？

Question

我在我的 Spring Cloud 项目中使用 Kafka-streams-binder。 Kafka 流应用程序使用 6 分钟的滑动窗口来聚合结果和分析模式。 但问题是聚合操作正在生成重复的结果。

我想抑制中间结果并仅在应用程序中的窗口结束后发布。 这可以通过 Kafka 2.1.1 中的 Kafka.supress() 操作来实现。 但是Spring Cloud版本没有最新的kafka使用能力。

项目使用的依赖项

<spring-boot.version>2.1.9.RELEASE</spring-boot.version> <spring-cloud.version>Greenwich.SR3</spring-cloud.version>

任何抑制中间结果的替代方法都会有所帮助。

Answer 1

任何抑制中间结果的替代方法都会有所帮助。

在以前版本的 Kafka Streams 中没有提供与最近引入的 Suppress 功能相同的行为的等效功能。

您可以获得的最接近的是配置 Kafka Streams 应用程序的记录缓存（设置如cache.max.bytes.buffering ）和commit.interval.ms以减少您将看到的“中间”更新的数量。 但与新的抑制功能不同，这不会完全删除任何此类更新。

Answer 2

您可以覆盖 kafka-clients 和 kafka-streams 版本，如Spring for Apache Kafka 参考手册的附录中所述。

如果您没有在测试中使用嵌入式 kafka 代理，则只需覆盖 kafka 客户端和流。

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>2.1.1</version>
</dependency>

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-streams</artifactId>
    <version>2.1.1</version>
</dependency>