Kafka 錯誤序列化 Avro 消息 Caused by: java.net.SocketException: Connection reset

[英]Kafka Error serializing Avro message Caused by: java.net.SocketException: Connection reset

我正在嘗試 Kafka 流，設法將 stream 普通字符串從一個主題轉移到另一個主題，但現在我想將其序列化為 AVRO 消息。 我在 inte.net 上四處尋找解決方案，但沒有找到，所以這是我最后的希望。 這是我的代碼 當我運行它時出現以下錯誤： 不知道出了什么問題，我搜索了多個網站以找到解決 ...

Kafka Connect 還是 Kafka Streams？

[英]Kafka Connect or Kafka Streams?

我需要從主題中讀取消息，根據提供的配置豐富消息（豐富所需的數據來自外部系統），並將豐富的消息發布到 output 主題。 關於 source 和 output 主題的消息應該是 Avro 格式。 這是自定義 Kafka 連接器的好用例還是我應該使用 Kafka Streams？ 為什么我要考慮 K ...

Kafka Streams - 禁用內部主題創建

[英]Kafka Streams - disable internal topic creation

我在一個必須使用共享 Kafka 集群的組織工作。 由於公司內部政策，我們用於身份驗證的帳戶僅具有分配的讀/寫權限。 我們無法請求主題創建權限。 要創建主題，我們需要遵循入職程序並預先知道主題名稱。 正如我們所知，Kafka Streams 創建內部主題來持久化流的 state。 有沒有辦法禁用容錯 ...

Kafka Streams 應用程序生成具有相同消息的主題

[英]Kafka Streams application producing topic with same message

我的 Kafka 流應用程序遇到了一個問題，其中消息被多次處理並且結果主題不斷接收消息。 此問題僅存在於生產環境中，不存在於我的本地環境中。 你能根據轉換器代碼幫我確定這個問題的根本原因嗎？ ` 當我從變壓器中刪除 KStore 時，一切似乎都正常。 ...

Kafka Streams 是否也會清除 state 存儲內部異常的數據？

[英]Does Kafka Streams also wipes out state store data on internal exceptions?

我知道 state 存儲在用戶異常時被清除，並在啟用 EOS 時從更改日志主題中恢復。 這是否也適用於由 kafka 流處理的其他內部異常？ 像 ProducerFencedException 或當 kafka 無法生成記錄時因為負載太大或任何與連接相關的異常？ 如果不是，是否足以用 try-ca ...

使用 leftJoin 合並 2 個 kstreams 主題時如何修復反序列化錯誤？

[英]How to fix the deserialization error when merging 2 kstreams topics using leftJoin?

我是卡夫卡的新手。 我正在做一個個人項目，我想寫 2 個不同的 Avro 主題並使用 leftJoin 合並它們。 合並它們后，我也想向 KSQL 數據庫生成相同的消息。 （我還沒有實施那部分）。 我正在使用 Kafka 模板生成 2 個 Avro 主題並將它們轉換為 kstreams 以合並它 ...

Kafka 在 cmd JAVA app 中閱讀了整個主題

[英]Kafka read the whole topic in cmd JAVA app

我需要將 Kafka stream 與在 cronjob 中運行的 java 應用程序一起使用，並且每次都閱讀整個主題。 不幸的是，出於某種原因，它提交了偏移量，並在下一次運行時讀取了最后一個偏移量。 我嘗試了各種方法，但不幸的是沒有成功。 我的設置如下： 我用以下代碼閱讀了主題： 但是，它仍然從最 ...

反序列化觸發kafka流default.deserialization.exception.handler時有什么樣的異常？

[英]What kind of exceptions while deserializing triggers kafka streams default.deserialization.exception.handler?

卡夫卡流配置： 例如我有自定義解串器實現： 我的假設是否正確——如果反deserialize化方法中反序列化過程中發生的任何運行時異常將被默認的反序列化異常處理程序或僅某種特定於 Kafka 的異常處理程序緩存？ 我沒有在文檔中找到任何解釋。 我必須確保在反序列化 stream 期間發生的任何事情 ...

Spring KafkaStreams 僅在測試中不接收消息

[英]Spring KafkaStreams not receiving messages only in tests

我對 Spring 和 KafkaStreams 有疑問，但僅限於測試。 測試如下所示 並且在此測試消息“received_from_test”之后未打印。 但是當我在我的應用程序中創建類似的 stream 時，例如如下所示： 打印消息“received_from_app”。 也許有人可以幫助我並告 ...

Kafka Stream 和 Java：如果符合特定條件，則將相同的 object 發送到多個主題

[英]Kafka Stream with Java: Send the same object to multiple topics if it matches certain criteria

任務：我們聽一個 Kafka 主題。 處理后，我們希望看到三個不同的 output 主題中的消息，而同一消息可能 go 到多個 output 主題。 如何使用 Kafka-Streams model 這樣的解復用器？ 我嘗試使用： 因此，對於主題“output.xyz”和主題“output.abc” ...

Kafka 記錄標頭不會轉發到更改日志主題

[英]Kafka record headers won’t be forwarded to changelog topics

為了 object 映射目的，我需要每個主題中的標題。 目前，當我將 header 添加到處理器中的記錄時，header 將出現在目標 output 主題中，但不會出現在 state 商店使用的更新日志主題中。 如何將標頭轉發到每個派生的內部主題。 ...

如何從鍵和值列表中為kafka主題生成單獨的鍵和值

[英]How to produce individual key and values to kafka topic from the list of keys and values

KStream<List<keys>, List<values>> mapValues = stream.selectKey((key, value) -> util.fetchKeys(key, value)).mapValues(value -> ...

kafka + 此服務器不是該主題分區的領導者

[英]kafka + This server is not the leader for that topic-partition

我有 5 個代理 kafka 版本 0.10 集群。復制因子是 3。這是生產 kafka 經紀人 IDS 是 幾個月后集群正常，我們在 Kakfa server.log 中觀察到以下日志。 從日志中我們可以看到很多行“This server is not the leader for that to ...

防止 KafkaStreams 標點符號因 CAUGHT 異常而關閉

[英]Prevent KafkaStreams punctuator from shutting down on CAUGHT exception

將 kafkastreams 與 Spring Boot 一起使用，我有一個異常被標點符號捕獲，如下所示： 但是，此異常導致流應用程序關閉： 如何更改已注冊的異常處理程序以不關閉客戶端？ 所有文檔都在談論未捕獲的異常處理程序，但我正在捕獲此異常。 我什至不知道注冊的處理程序是什么。 ...

kafka 流：即使很少有記錄轉換拋出異常也發布/發送消息？

[英]kafka streams: publish/send messages even when few record transformation throw exceptions?

典型的 kafka 流應用程序流程如下（不包括所有步驟，如 props/serdes 等）- 現在，如果processValueAndDoRelatedStuff(String input)方法拋出錯誤，我不希望程序崩潰，但希望kafka只不將那個轉換 output 發送到outputTopic ...

Kafka 壓縮主題是否有存儲限制？

[英]Is there any storage limits for a Kafka compacted topic?

在 kafka 流中進行有狀態處理時，我們可以容納較大的 state。隨着數據的增長，我們可以為客戶端提供更多的磁盤空間。 但是變更日志主題呢？ 本地state在這個壓縮主題中備份。 我們可以在此主題中存儲多少數據有任何限制嗎？ 我們還沒有遇到任何問題。 但我看到一些雲服務確實對壓縮主題的大小有限 ...

如何在 Kafka Streams 中正確標記消息

[英]How to properly flag a message in Kafka Streams

我正在嘗試在我的 Kafka Streams 拓撲中監視來自特定輸入主題的消息的處理時間。 為此，我在拓撲的末尾添加了一個轉換器，它訪問消息的上下文時間戳並記錄經過的時間。 這非常適合簡單的線性/單輸入主題案例。 但是，假設我有以下拓撲： 假設我想監控A -> Out路徑而不是B -> ...

Kafka中如何重新消費消息

[英]How to re-consume messages in Kafka

我是 Kafka 的新手，我正在從事一個學習和理解 Kafka 的項目。 我在我的筆記本電腦上運行 Kafka，所以我有 1 個消費者和 1 個生產者，我正在使用 Java (Spring Boot) 來收聽這些流並使用消息。 假設我創建了 2 個不同的組，稱為“自動”和“手動”。 對於“自動”的， ...

缺少聚合組件

[英]Missing aggregate components

在少數情況下， durchfuehrungen是null ，即使記錄是正確的並且與它們的組合在其他地方也有效。 在由此產生的受影響的ProjektAggregat記錄的歷史記錄中，沒有單個事件包含依賴的durchfuehrungen ，它們總是 null 並且無法弄清楚原因。Function { p ...

我可以用與普通數據庫類似的方式寫入 KTable 嗎？

[英]Can I write to a KTable in a similar way as to normal databases?

使用 Kafka Streams 時，我知道可以通過對 stream 進行操作並以某種方式轉換/聚合其中的數據來創建 KTable。 但我想知道是否有可能以更傳統的方式使用它，例如在關系數據庫中。 在關系數據庫中，您可以擁有一個允許保存到表的存儲庫：class MyRepository { p ...