簡體 English 中英

冪等的 Kafka Producer 寫入多分區主題

[英]Idempotent Kafka Producer writing to multi-partitioned topic

原文 2018-09-26 12:34:18 6 1 apache-kafka

冪等生產者是否必須是事務性的，以確保在發布到多分區主題時的冪等性？ 在閱讀了 Kafka 文檔后，我仍然不確定它是否確實如此。

我的環境是 Kafka 1.0 集群和 Kafka 1.1 客戶端。

1 個解決方案

冪等生產者創建一個與消息一起發送的 id。 有了這個 id，主經紀商就可以說“哦，我已經處理了這條消息”。

冪等的生產者和事務性消息傳遞是制作完全一次消息傳遞語義的兩種不同方法。

所以不行！

如何從多分區的Kafka主題按順序（按時間戳順序）使用數據

[英]How can I consume a data sequentially(in order of their time-stamp) from a multi-partitioned Kafka topic

在閱讀多分區的Kafka主題時，Spark結構化的流消費者如何啟動和調用？

[英]How spark structured streaming consumers initiated and invoked while reading multi-partitioned kafka topics?

Kafka 冪等生產者

[英]Kafka Idempotent producer

卡夫卡多個制片人寫同一主題？

[英]Kafka multiple producer writing to same topic?

Kafka Producer（具有多個實例）寫入同一主題

[英]Kafka Producer (with multiple instance) writing to same topic

無法在 Alpakka 中使用 Transactional.Sink 向 Kafka 主題生產消息，但我看到啟用了冪等生產者

[英]Not able to Produce Message to Kafka topic using Transactional.Sink in Alpakka but I see idempotent producer is enabled

Kafka多個制作人寫同一主題 - 消息和數據突發的排序

[英]Kafka multiple producer writing to same topic - Ordering of message and data burst

每個生產者的 Kafka 主題

[英]Kafka topic per producer

如何在 Spring Boot 中設置 Kafka 冪等生產者？

[英]How to setup Kafka Idempotent Producer in Spring Boot?

kafka冪等和交易生產者設置之間的區別？

[英]Difference between kafka idempotent and transactional producer setup?

暫無

暫無

聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

相關問題 如何從多分區的Kafka主題按順序（按時間戳順序）使用數據在閱讀多分區的Kafka主題時，Spark結構化的流消費者如何啟動和調用？ Kafka 冪等生產者卡夫卡多個制片人寫同一主題？ Kafka Producer（具有多個實例）寫入同一主題無法在 Alpakka 中使用 Transactional.Sink 向 Kafka 主題生產消息，但我看到啟用了冪等生產者 Kafka多個制作人寫同一主題 - 消息和數據突發的排序每個生產者的 Kafka 主題如何在 Spring Boot 中設置 Kafka 冪等生產者？ kafka冪等和交易生產者設置之間的區別？

相關標簽

粵ICP備18138465號 © 2020-2024 STACKOOM.COM