卡夫卡多个分区的本地状态存储

Question

我正在使用kafka处理器api，并从3个分区的主题创建状态存储（我有3个代理），我有1个流实例。 我想知道何时获得本地状态存储，是否可以获取所有密钥？ 为什么某些键有效但某些键无效？ 正常吗 谢谢

Answer 1

在这种情况下，应用程序实例的数量无关紧要。 因为输入主题具有3个分区，所以状态存储是用3个分片创建的。 处理发生在3个并行任务中。 每个任务实例化您的拓扑的副本，处理一个输入主题分区，并使用一个分片。

比较： https : //kafka.apache.org/21/documentation/streams/architecture

如果要访问不同的分片，则可以对所有分片使用“交互式查询”功能进行键/值查找（以及查询的键范围）。

同样，全局状态存储的概念是将所有分区中的数据加载到单个存储中（而不是分片）。 但是，与“常规”存储区相比，它提供了不同的语义，因为存储区更新与其他处理没有时间同步。