如何使用Kafka Stream API将数据写入主题的多个分区

Question

我有 kafka 流应用程序，如如何评估 kafka 流应用程序中的消耗时间中所述

使用此应用程序，我能够将数据写入主题的一个分区中。 如何将数据写入主题的多个分区？ 请帮帮我。

Answer 1

如果您使用 Kafka Streams 并通过#to(String topicName)将数据写入主题， #to(String topicName)数据将自动写入“所有”分区。 （即，每条消息都写入单个分区，但不同的消息可以写入不同的分区。）分区将通过基于消息键的散列选择。 如果键为null则使用随机分区。

如果您的所有输出数据都具有相同的键，则它们将全部转到一个分区。

您还可以使用#to(StreamPartitioner, String) （旧 API）或#to(String, Produced )`（新 API，v1.0+）自定义分区。