Kafka 流处理器 api 单 vs 批处理记录处理

Question

问题 1： kafka 流处理器 api 是否允许单记录和批记录处理（或者它总是在内部进行批记录处理）？

问题2：设置单个或批处理需要什么配置或设置以及如何使用kafka流处理器api实现批处理（片段，链接）？

Answer 1

Kafka Streams 处理器 api 最初一次处理一条记录，但您可以将 state 存储与Transformer一起用于有状态操作以实现批处理。 我想您需要按大小和时间进行批处理（例如，如果在 5 秒内未达到批处理大小，请传播我们已经收集的数据）。 如果是这样，请查看示例How to process a KStream in a batch of max size or fallback to a time window 。 如果您需要基于时间的聚合（而不是按大小），请查看windowing 。

实际上，使用处理器 api 不需要某些特定属性（仅适用于 Kafka 流的常规道具，如bootstrap.servers 、 application.id 、 auto.offset.reset等），并且仅用于批处理，您需要声明 state 存储.