更新日志主题和重新分区主题 kafka 流

Question

如果我不使用有状态流，我想问你是否需要在我的 KafkaStreamsConfiguration 中添加复制因子。 我不使用这个 RockDB。 据我所知，复制因子设置用于更改日志和重新分区主题。 我理解这个变更日志主题，但是这个重新分区主题让我有点困惑......有人可以用非常基本的语言向我解释这个重新分区主题是什么，如果我不在我的流媒体应用程序中使用 state，我是否应该关心这个复制因子？

问候

Answer 1

简而言之，当您更改正在处理的事件/消息的键时，Kafka Streams 中会发生重新分区。

重新分区基本上是 stream 处理上的 shuffle 阶段。 This can happen in Kafka stream, Apache Spark, Flink, Storm, Hadoop, .... These are Distributed Stream Processing Engines (DSPE) which aims to execute tasks in parallel to speed-up the process. 然后，当您调用map转换时，DSPE 将这个逻辑map转换为并行 X 的物理map任务（X 通常是机器的内核数）。

因此，如果您使用mapValues并且不更改键，则 Kafka stream 将不会重新分区。 但是，如果您使用map更改密钥，Kafka stream 将重新分区。 此外，如果您使用任何聚合转换（例如： reduce 、 join 、...），Kafka 将执行重新分区，因为它是基于键的。

当存在聚合阶段时，会发生重新分区/洗牌阶段。 假设您有一个逻辑管道：

... -> map -> reduce -> ...

引擎盖下的物理管道将如下所示：

具有相同键的事件由groupByKey转换分组并发送到相同的reduce并行任务实例。 这是洗牌阶段。

在 Kafka stream 的情况下，当发生聚合时，管道从KStream转换为KTable ，因为消息分布在 Kafka 代理上，并且 stream 引擎必须在不同分区上查找事件。 如果您使用 IntelliJ，它会在管道更改时向您推断。 在下图中，它正在发生字数统计，并且count转换是有状态的，就像reduce一样。

这是阅读 Kafka Stream 中重新分区的更多信息的好来源。 就像我说的，其他 DSPE 在洗牌阶段也依赖于重新分区。 另一个不错的来源是来自 Flink 的这个。