Kafka-streams 中的 StreamPartitioner 是线程安全的吗？

Question

我正在构建简单的 kafka-streams 应用程序。我需要使用多个线程和自定义 StreamPartitioner：

props.put(StreamsConfig.NUM_STREAM_THREADS_CONFIG, "3");

Partitioner partitioner = new Partitioner();
textLines.to(OUT_TOPIC, Produced.streamPartitioner(partitioner));

我可以确定不同的线程将使用自己的分区器实例吗？ 如果没有，我该如何执行？

Answer 1

不会。创建的分区程序实例将在所有线程中共享。

通常，分区器是无状态的，因此共享实例不是问题。 如果您确实共享了 state，则需要以线程安全的方式实现 class。

作为替代方案，应该可以直接配置生产者的分区器，方法是在StreamsConfig上设置partitioner.class配置。