samza任务如何消耗多个kafka分区流

Question

我有一个典型的samza任务，它涉及2个主题： data和config ，并将来自config消息作为本地状态存储在rocksdb中，以检查来自data消息是否正常。

如果这两个主题中的每个主题都只有一个分区，则此任务运行良好。 一旦我将data分成十个分区，而config仍然是一个分区，事情就变了。 默认情况下，samza创建十个任务以消耗data主题的分区0〜9，而只有任务0消耗config主题：

task[0] -> config, data[0] task[1] -> data[1] ... task[9] -> data[9]

似乎每个任务都使用其自己的rockdb实例进行了初始化，因此只有task [0]将所有配置数据存储在其rockdb实例中，task [1〜9]没有配置数据，因此无法找到传入数据的配置信息。

我期望的是每个任务都会消耗其数据分区和配置流中的消息，如下所示：

task[0] -> config, data[0] task[1] -> config, data[1] ... task[9] -> config, data[9]

有什么办法可以做到这一点？

Answer 1

输入流分区的分配由使用“ job.systemstreampartition.grouper.factor”配置的可插拔分组器控制。 默认情况下，此类将跨任务实例的传入流分区分组。 默认情况下，我相信它会执行GroupByPartitionId。 这就是为什么您在任务[0]中看到data [0]和config [0]的原因。

您可以实现自定义SSPGrouper。 但是，您正在寻找的是将“数据”流视为常规输入流，将“配置”流视为“ 广播 ”输入流。 广播意味着Samza作业中的每个任务都将从该流的分区中读取。 这样，每个任务实例都可以使用配置流的数据填充其本地rockdb。 您可以将广播流配置为： task.broadcast.inputs=<systemName>.<streamName>#[<partition-range>], <systemName>.<streamName>#[<partition-range>]

对于您的情况，可以配置： task.inputs = <systemName>.data task.broadcast.inputs = <systemName>.config#0

在Samza中查看广播流