堆棧內存溢出
cost 289 ms
Kafka分布式連接產生重復消息

[英]Kafka distributed connect produce duplicated message

操作環境 三台服務器 三個 Kafka broker、connect、schema-registry (confluent-7.1.0) 一個用於測試的 ftp 連接器（3 個任務） 問題 連接產生重復的消息。 但是，我希望 ftp 連接器為每個文件發出一條消息。 分布式連 ...

Kafka EOS 重試標志

[英]Kafka EOS retry flag

我有一個 Kafka 集群和一個為 EOS 配置的 spring 啟動應用程序。 應用程序從主題 A 執行一些業務邏輯，然后生成主題 B。如果 EOS 無法寫入主題 B，它會重試並再次執行我的所有業務邏輯，我將面臨這個問題。 這對我來說是個問題，因為我隨后復制了 API 調用。 發生重試時是否有某種 ...

kSqlDB 恰好一次處理保證

[英]kSqlDB Exactly Once Processing Guarantee

我通過非常不正常地關閉 docker 運行進程或讓 docker 容器耗盡內存來測試 ksqldb 服務器上的恰好一次語義。 在這兩種情況下，我都會收到重復項，這絕對不是有保證的行為。 我覺得我可能在這里遺漏了明顯的...... KSQL_KSQL_STREAMS_PROCESSING_GUAR ...

是否可以使用 BASE-fashioned 數據庫實現 Exacly Once Semantics？

[英]Is it possible to achieve Exacly Once Semantics using a BASE-fashioned database?

在 Stream 處理應用程序中（fe 基於 Apache Flink 或 Apache Spark Streaming）有時需要只處理一次數據。 在數據庫世界中，通過使用遵循 ACID 標准的數據庫可以實現相同的目標（如果我在這里錯了，請糾正我）。 但是有很多（非關系）數據庫不遵循 ACID 而 ...

stream加工時如何在Cassandra中實現exact-once？

[英]How to achieve exactly-once in Cassandra when stream processing?

我有一個看起來像這樣的 Cassandra 表 我有一個流式管道，它更新 Cassandra 中的項目。 流式管道每隔一段時間設置檢查點。 因此，當管道失敗時，它將重新處理自上次成功檢查點以來的源數據。 並且當它在失敗后重新處理時，它會嘗試覆蓋Cassandra中已經成功寫入的數據（即在最后一次成 ...

Apache Kafka Exactly Once transaction id 如何影響新的 fetch request producer fencing 方法

[英]How Apache Kafka Exactly Once transaction id impact on the new fetch request producer fencing approach

在早期版本的 Kafka 一次性語義 static 映射應該在消費者組不匹配期間事務 id 和主題分區之間存在，事務 id 有可能獲得不同的主題分區。 為避免這種情況KIP-447：生產者可擴展性僅在實現語義后，我從 KIP-477 中了解到，舊生產者在新 API（sendOffsetToProdc ...

Flink 恰好一次語義和數據丟失

[英]Flink exactly once semantics and data loss

我們有一個 Flink 設置，Kafka 生產者目前使用至少一次語義。 我們正在考慮切換到關於 Kafka 生產者的一次性語義，因為這會給我們帶來好處。 不過考慮到文檔，這似乎會增加我們目前沒有的非常可能的數據丟失風險。 如果由於 Flink 無法恢復或 Kafka 代理關閉而導致長時間停機，則 K ...

恢復事務性發件箱模式

[英]Reverting the Transactional Outbox Pattern

問題描述： 使用跨越數據庫和消息代理的分布式事務來自動更新數據庫和發布消息/事件是不可行的。 發件箱模式描述了一種讓服務以安全和一致的方式執行這兩個任務的方法； 它為源服務提供即時“讀取您自己的寫入”語義，同時提供跨服務邊界的可靠、最終一致的數據交換。 如果我從 topicA 讀取消息 -> ...

kafka冪等生產者可以確保多個分區恰好一次嗎

[英]Can kafka idempotent producer ensure exactly once with multiple partitions

我只是Kafka的新手，對kafka生產者的冪等性有所了解。 據我了解，當生產者向代理發送消息時，代理需要向生產者發回 ACK 以告知其已收到消息。 如果生產者由於某種原因沒有收到 ACK，則生產者必須再次向代理發送相同的消息，以便復制消息。 而冪等生產者可以消除這個問題。 基本上，每個生產者都將被 ...

Spring Cloud Stream 項目，無法獲取分區信息錯誤

[英]Spring Cloud Stream project with Failed to obtain partition information Error

當我使用此配置時： 我的應用程序正確啟動，但我在控制台 output 中看到的 transactional.id 顯示 null。 我已將此額外配置（事務）應用於 spring-cloud-stream，以獲得正確的 transactional.id： 但是服務沒有成功啟動，控制台 output 顯 ...

Apache Flink 中的端到端 Exactly-once 處理

[英]End-to-end Exactly-once processing in Apache Flink

Apache Flink 通過從檢查點恢復作業來保證在故障和恢復時只處理一次，檢查點是分布式數據流和操作員狀態的一致快照（分布式快照的 Chandy-Lamport 算法） 。 這保證在故障轉移時恰好一次。 在集群正常運行的情況下，Flink 如何保證只處理一次，例如給定一個從外部源（比如 Ka ...

我可以依靠 Kafka stream 中的內存 Java 集合來通過微調標點和提交間隔來緩沖事件嗎？

[英]Can I rely on a in-memory Java collection in Kafka stream for buffering events by fine tuning punctuate and commit interval?

在process()中的簡單java.util.List中緩沖事件的自定義處理器 - 此緩沖區不是 state 存儲。 每 30 秒 WALL_CLOCK_TIME， punctuate()對該列表進行排序並刷新到接收器。 假設只有單個分區源和接收器。 需要EOS處理保證。 我知道在任何給定時間， ...

如何在 Spark Structured Streaming 中使用 foreachBatch 接收器實現一次性寫入保證

[英]How to achieve exactly-once write guaranty with foreachBatch sink in Spark Structured Streaming

從文檔： 默認情況下，foreachBatch 僅提供至少一次寫入保證。 但是，您可以使用提供給 function 的 batchId 作為對 output 進行重復數據刪除並獲得完全一次保證的方式。 這是否意味着除非我們加倍努力，否則即使我們在主要的 writeStream 操作中使用檢查點，我們 ...

使用 spring kafka 的恰好一次語義

[英]Exactly once semantic with spring kafka

我試圖測試我的一次性配置，以確保我設置的所有配置都是正確的，並且行為符合我的預期我似乎遇到了重復發送的問題 這是我的“測試”，您可以假設構建器放置了正確的配置。 ConsumerMessageLogic 是一個 class ，它處理恰好一次語義支持的讀取-過程-寫入的“過程”部分在生產者 clas ...

Exactly-once：誰在存儲歷史數據，flink 還是數據源

[英]Exactly-once: who is storing the historical data, flink or the data source

我知道 Apache Flink 有 Exactly once 的能力，它依賴於 checkpoint 機制和可重發的數據源。 按照我的理解，如果 Flink 的一個算子出現錯誤，它需要重新運行它的最后一個操作，所以它必須需要獲取歷史數據。 在這種情況下，歷史數據應該/可以存儲在哪里？ 說數據源是A ...

無法在 Alpakka 中使用 Transactional.Sink 向 Kafka 主題生產消息，但我看到啟用了冪等生產者

[英]Not able to Produce Message to Kafka topic using Transactional.Sink in Alpakka but I see idempotent producer is enabled

嗨，我正在嘗試使用 Alpakka 文檔中所示的 Producer api。 我能夠使用事務源使用記錄，並且創建了生產者，但無法將消息放入主題無法使用 Alpakka 中的 Transactional.Sink 生產到主題，但我看到啟用了冪等生產者。 我看到日志表明它正在進入邏輯但它沒有向 myTo ...

Kafka - 即使應用程序配置為僅一次和最高持久性，也會丟失消息

[英]Kafka - Loosing messages even if app is configured for exactly once and highest durability

有一些情況（很少，但有）當我收到重復項時，即使一切都配置為高耐用性並且我們只使用一次配置。 請在下面檢查導致此問題的應用程序上下文和測試場景。 Kafka集群設置 3 個 Kafka Brokers（主機 1 上 1 個，主機 2 上 2 個，主機 3 上 3 個） 3 個 Zookee ...

當 PROCESSING_GUARANTEE_CONFIG 設置為 EXACTLY_ONCE 時，Kafka 無法重新平衡

[英]Kafka Failed to rebalance when PROCESSING_GUARANTEE_CONFIG set to EXACTLY_ONCE

我有一個工作正常的 Kafka 流應用程序。 但是，當我添加屬性時： properties.put(StreamsConfig.PROCESSING_GUARANTEE_CONFIG, StreamsConfig.EXACTLY_ONCE); 然后我收到以下錯誤： 任何人都知道什么可以課程？ ...


排序:
質量:
 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM