繁体 English 中英

幂等的 Kafka Producer 写入多分区主题

[英]Idempotent Kafka Producer writing to multi-partitioned topic

原文 2018-09-26 12:34:18 9 1 apache-kafka

幂等生产者是否必须是事务性的，以确保在发布到多分区主题时的幂等性？ 在阅读了 Kafka 文档后，我仍然不确定它是否确实如此。

我的环境是 Kafka 1.0 集群和 Kafka 1.1 客户端。

1 个解决方案

幂等生产者创建一个与消息一起发送的 id。 有了这个 id，主经纪商就可以说“哦，我已经处理了这条消息”。

幂等的生产者和事务性消息传递是制作完全一次消息传递语义的两种不同方法。

所以不行！

如何从多分区的Kafka主题按顺序（按时间戳顺序）使用数据

[英]How can I consume a data sequentially(in order of their time-stamp) from a multi-partitioned Kafka topic

在阅读多分区的Kafka主题时，Spark结构化的流消费者如何启动和调用？

[英]How spark structured streaming consumers initiated and invoked while reading multi-partitioned kafka topics?

Kafka 幂等生产者

[英]Kafka Idempotent producer

卡夫卡多个制片人写同一主题？

[英]Kafka multiple producer writing to same topic?

Kafka Producer（具有多个实例）写入同一主题

[英]Kafka Producer (with multiple instance) writing to same topic

无法在 Alpakka 中使用 Transactional.Sink 向 Kafka 主题生产消息，但我看到启用了幂等生产者

[英]Not able to Produce Message to Kafka topic using Transactional.Sink in Alpakka but I see idempotent producer is enabled

Kafka多个制作人写同一主题 - 消息和数据突发的排序

[英]Kafka multiple producer writing to same topic - Ordering of message and data burst

每个生产者的 Kafka 主题

[英]Kafka topic per producer

如何在 Spring Boot 中设置 Kafka 幂等生产者？

[英]How to setup Kafka Idempotent Producer in Spring Boot?

kafka幂等和交易生产者设置之间的区别？

[英]Difference between kafka idempotent and transactional producer setup?

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 如何从多分区的Kafka主题按顺序（按时间戳顺序）使用数据在阅读多分区的Kafka主题时，Spark结构化的流消费者如何启动和调用？ Kafka 幂等生产者卡夫卡多个制片人写同一主题？ Kafka Producer（具有多个实例）写入同一主题无法在 Alpakka 中使用 Transactional.Sink 向 Kafka 主题生产消息，但我看到启用了幂等生产者 Kafka多个制作人写同一主题 - 消息和数据突发的排序每个生产者的 Kafka 主题如何在 Spring Boot 中设置 Kafka 幂等生产者？ kafka幂等和交易生产者设置之间的区别？

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM