標簽[kafka-consumer-api] - 堆棧內存溢出

[英]Kafka Streams - disable internal topic creation

我在一個必須使用共享 Kafka 集群的組織工作。由於公司內部政策，我們用於身份驗證的帳戶僅具有分配的讀/寫權限。我們無法請求主題創建權限。要創建主題，我們需要遵循入職程序並預先知道主題名稱。正如我們所知，Kafka Streams 創建內部主題來持久化流的 state。有沒有辦法禁用容錯 ...

Kafka 消費者實現在 Python 中不起作用

[英]Kafka consumer implementation not working in Python

第一次使用 Kafka，我遇到了一個問題。我的消費者有以下實現：憑據應正確實施的位置。我收到了訂閱該主題的消息，沒有錯誤，但是沒有生成消息，盡管我確定該主題上有要使用的消息。我在這里缺少一些必要的配置嗎？ ...

新的flink Kafka consumer（KafkaSource）能否從舊的FlinkKafkaConsumer的Savepoint/checkpoint開始？

[英]Can new flink Kafka consumer (KafkaSource) start from the old FlinkKafkaConsumer's Savepoint/checkpoint?

我有一份工作正在與舊的 flink Kafka 消費者 ( FlinkKafkaConsumer ) 一起運行，現在我想將它遷移到KafkaSource 。但我不確定這次遷移會產生什么影響。我希望我的工作從舊的 FlinkKafkaConsumer 最新成功的檢查點開始，這可能嗎？如果不可能 ...

如何使用 erlang brod 從 Kafka 分區獲取偏移量

[英]How to get offsets from Kafka partitions using erlang brod

基本上，這就是問題：如果使用 brod group subscriber，是否有辦法為每個分區獲取提交的偏移量和 Kafka 的偏移量？我正在使用 brod v3.16.2 ...

如果每個主題只有一個分區，一組中的消費者是否會每個訂閱一個主題？

[英]Will consumers in a group subscribe to one topic each, if there is a single partition per topic?

我正在使用 Debezium 記錄我的數據庫中的更改，Debezium 在主題中為我的數據庫中存在的每個表生成更改事件。這些更改記錄用於填充另一個數據庫。如果我將每個主題限制為只有 1 個分區，假設我有 4 個消費者在運行，當消費者訂閱主題時，這 4 個消費者是否會在他們之間划分主題？（他們 ...

有沒有辦法獲得特定主題的一組客戶的總數？

[英]Is there anyway to get total amount of a group client in specific topic?

先來了解一下（cmiiw），kafka中的一個topic被划分為partition每個partition被同組的clients消費。哪個客戶端消費到哪個分區取決於有多少客戶端可用。示例：我有 3 個客戶屬於同一組“shipping”（比如說客戶 A、B、C）我有一個名為“已驗證”的主題並且有 ...

Spring Kafka 僅從批處理中向@KafkaListener 方法提供第一條消息

[英]Spring Kafka giving only 1st message from batch to @KafkaListener method

我們有 spring Kafka 應用程序和客戶反序列化器 class 我們正在使用@KafkaListener 注釋來接收消息。我們注意到，通過在自定義反序列化器中添加日志語句，我們正在讀取一批（批大小為 5）中的預期消息數，但是使用 @KafkaListener 注釋的方法僅從該批中獲取第一條 ...

kafka 在消費者中產生消息

[英]kafka produce messages in consumer

我有一個需要將消息傳遞到多層處理的應用程序。我需要這樣做，因為所有新消息都應該放入第一個通用主題中，以便可以對其進行處理以計算類型，然后將它們放入另一個主題中（以進行進一步處理），從現在開始相同key的消息，go自動直接轉到第二個主題。我打算為每一層創建多個主題。消息首先 go 進入第一層並得 ...

Kafka 最佳實踐 - 在記錄反序列化之前應用重復數據刪除

[英]Kafka best practicies - apply the deduplication before record deserialization

用例有一個上游系統通過 Kafka 生產數據批次（一個批次平均有 1000 萬條記錄）。起始偏移量和預期記錄數通過一個主題（控制），數據本身通過另一個主題（數據）。生產批次時，某些記錄可能會定期重復，從而使預期記錄與控制主題上發送的記錄不匹配。每條記錄都有唯一的 ID。問題由於重復項未包含在 ...

重新消費由於數據庫錯誤而在處理過程中失敗的 Kafka 消息

[英]Reconsume Kafka Message that failed during processing due to DB error

我是 Kafka 的新手，想就處理這種情況的最佳實踐尋求建議。設想：我有一個 spring 啟動應用程序，它有一個消費者方法，該方法通過@KafkaListner注釋偵聽消息。一旦傳入消息發生，消費者方法將處理該消息，它只是通過JdbcTemplate對不同的表執行數據庫更新。如果表更新成功 ...

要在 kafka 偵聽器中實現並發，在 @KafkaListener 中使用 groupId 和並發來定義消費者組有何不同？

[英]To achieve concurrency in kafka listener, how are defining consumer groups using groupId & concurrency in @KafkaListener different?

如果一個主題有 > 1 個分區，那么我們可以有一個消費者組，現在這個組中的不同消費者將拆分他們想要讀取的分區。我們還有一個選項，我們不使用消費者組，但定義並發 = 2（例如），現在消費者的 2 個實例運行每個從不同分區讀取。這兩個有什么不同？或者它們在引擎蓋下是一樣的嗎？ ...

Kafka Spring：如何從 RetryTopicConfigurer 隱藏日志

[英]Kafka Spring: How to hide logs from RetryTopicConfigurer

我有一個有兩個分區的主題，我正在使用@RetryableTopic，我可以在我的應用程序控制台上看到日志 INFO oskr.RetryTopicConfigurer - 在 dlt 偵聽器中收到消息：{topic name with second partition} 這是錯誤的，因為它只是另一個 ...

在Kafka Azure 服務總線中，我們如何維護消費者級別的排序？

[英]How can we maintain ordering at the consumer level in Kafka, Azure Service bus?

問題是我們有一個消費者從隊列中讀取數據，而那個消費者正在對數據庫進行一些更新。現在我們需要運行同一個消費者的多個實例來幫助負載。實例A、實例B、實例C是同一個消費者的運行實例，它們都是從同一個隊列中讀取。隊列中的消息已經有序。例如，假設我按照各自的順序 M1、M2、M3 向單個隊列 Q1 ...

消費者使用特定的鍵處理所有相關消息

[英]consumers process all the related messages with a specific key

我需要讓 Kafka 消費者同時處理每個分區中具有相同 ID 的所有消息。例如，考慮一個主題包含所有不同類型的訂單，並且有多個訂閱該主題的消費者實例。如何運行消費者來處理每個分區中具有相同 Id 的所有消息？因為當用那個Id生產訂單時，雖然Kafka保證所有相同的ID go到同一個分區，但是每 ...

enable_auto_commit=False，但仍然會自動提交偏移量

[英]enable_auto_commit=False, but still offsets are committed automatically

我正在使用kafka-python==2.0.2 ，並禁用了auto_commit但如果我不通過代碼提交，偏移量會自動提交在下面的代碼中，即使我注釋掉self.consumer.commit_async(callback=.... ，偏移量仍在提交class KafkaMessageConsumer ...

在 Spring Kafka 中提交 offset 時

[英]When offset is commited in Spring Kafka

看了Spring的2.3版本后，Kafka的enable.auto.commit默認是false ，因為Kafka原生實現的自動提交機制是基於時間調度的，相當不方便。取而代之的是 Spring Kafka 提供了一種提交機制，綁定到記錄處理，即您可以為 AckMode 選擇 BATCH、RECOR ...

以從兩個（或更多）主題中讀取的方式在消費者組中創建 Kafka 消費者？

[英]Create Kafka consumers within a consumer group in such a way to read from two (or more) topics?

第1步。我創建了兩個分區數不同的主題，如下所示：和第 2 步 - 嘗試 1。創建三個消費者來收聽兩個先前創建的主題。在三個不同的終端中執行此命令：描述消費者群體：只有second_topic中的分區為給定的消費者組分發。第 2 步 - 嘗試 2。在殺死活躍消費者后，在三個不同的終 ...

kafka consumer batch listener polling records based on sized of the messager

[英]kafka consumer batch listener polling records based on sized of the messager

我希望消費者根據消息的長度/大小批量消費消息批處理意味着 1kb 的批處理和最大 poll.record 為 100。最多輪詢 100 條消息或 1kb 的消息。如何在批處理中設置最大 1kb 的消息？我嘗試使用max.partition.fetch.bytes=1024但我收到 100 條消 ...

Kafka 偵聽器並發線程需要時間來並行啟動？

[英]Kafka listener concurrency threads taking time to start in parallel?

我需要在同一主題中處理大約 50k 條記錄（這個數字最多可以從 100 到 50k 不等）。因此，我使用了kafka的並發特性。下面是我的配置和監聽器代碼。但是當我檢查樣本 100 條記錄的結果時，線程並沒有同時啟動。以下是相同的回復。線程的啟動時間不同，第一個線程和最后一個線程之間的差異 ...

在 AggregatingReplyingKafkaTemplat 中的 Kafka 消費者讀取超時場景中消息會發生什么情況？

[英]What happens to message in a Kafka consumer read timeout scenario in AggregatingReplyingKafkaTemplat?

我有一個工作實現，其中我使用一個生產者主題並從兩個消費者主題獲取請求響應。在某些情況下，在兩個響應中，其中一個響應超時，並且由於我的配置如下，所以我將繼續我的一個響應。 returnPartialOnTimeout = 真我需要滿足其中一條響應消息超時情況的要求，我想找出有關已超時消息的詳細信 ...