繁体   English   中英

春季云流的DLQ分区Kafka主题

Partitioned Kafka Topic for DLQ for spring-cloud-stream

提示:本站收集StackOverFlow近2千万问答,支持中英文搜索,鼠标放在语句上弹窗显示对应的参考中文或英文, 本站还提供   中文繁体   英文版本   中英对照 版本,有任何建议请联系yoyou2525@163.com。

为春季云流卡夫卡用户设置DLQ时,可以将DLQ写入的主题进行分区吗? 我有一个要求使密钥等于特定字段,并且我想知道spring-cloud-stream如何实现。

1 个回复

Kafka活页夹中的主题提供者将创建DLQ主题,并为相应的使用者主题配置相同数量的分区。 将错误消息发送到DLQ后,它将适当地发送到使用者从原始主题接收记录的同一分区。

如果要在供应者之外创建DLQ,则可能需要确保创建的DLQ具有与使用者主题相同的分区数。

1 春季云流卡夫卡流DLQ

我正在将Apache Kafka 2.7.0与Spring Cloud Stream Kafka Streams一起使用。 在我的Spring Cloud Stream(Kafka Streams)应用程序中,当输入主题中的消息具有反序列化错误时,我已将application.yml配置为使用se ...

3 更改日志主题和重新分区主题 kafka 流

如果我不使用有状态流,我想问您是否需要在我的 KafkaStreamsConfiguration 中使用复制因子。 我不使用这个 RockDB。 据我所知,复制因子设置是针对变更日志和重新分区主题的。 我理解这个变更日志主题,但是这个重新分区主题让我有点困惑......有人可以用非常基本的词来解释我 ...

9 kafka 流如何尝试为每个 kafka 主题获取相同的分区?

如果我有多个应用程序实例,并且我要加入两个主题,那么每个实例必须获得相同的分区才能加入数据。 同时,它必须在实例之间均匀分布分区。 如果我猜测,我认为它会随机请求第一个主题的分区,将其保存在上下文中,然后为加入中涉及的所有其他主题请求相同的分区? 有人可以确认吗? ...

10 Kafka主题与分区主题

我想知道简单主题和分区主题之间有什么区别。根据我的理解来平衡负载,主题已被分区,每条消息都有偏移量,消费者将确认以确保以前的消息已被消费。如果没有分区和消费者不匹配由kafka完成的重新平衡是否有效管理。 如果创建多个主题而不是分区,则会影响运营效率。 ...

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2022 STACKOOM.COM