堆棧內存溢出
cost 221 ms
如何使用 sarama go 客戶端連接 zookeeper？

[英]How to connect zookeeper using sarama go client?

我是使用 sarama 客戶端的初學者。 雖然我的代碼在引導服務器上運行良好，但無法連接到動物園管理員。 kafka節點版本： confluent-kafka-2.11-0.10.2.1-2.noarch sarama客戶端版本： v1.38.0 錯誤： kafka：客戶已經用完可用的經紀人 ...

發布到 Redpanda 經紀人時經紀人不可用

[英]Broker not available when publishing to Redpanda broker

我收到錯誤The broker is not available. 當我嘗試向 Redpanda 經紀人發布消息時。 我正在使用 Sarama Go Kafka 客戶端。 以下是我創建生產者並發布消息的方式： err包含kafka server: Broker not available. Not ...

如何在運行時更改主題的偏移量？

[英]How to change offset of a topic during runtime?

我有一個 kafka 主題的生產者，它不斷將一些消息推送到 kafka 主題。 而且我還有另一個服務從主題中讀取這些消息。 我有一個業務用例，有時消費者需要忽略隊列中已經存在的所有消息，只開始處理新的即將到來的消息。 是否可以在不停止並重新啟動 kafka 服務器的情況下進行存檔。 我正在研究 G ...

如何查詢 kafka 以獲取主題中給定鍵的最新消息的最新偏移量/分區/時間戳

[英]How to Query kafka for latest offset / partition /timestamp for latest message for given key in a topic

如何查詢 kafka 並獲取給定主題和消息鍵的最新消息的時間戳/偏移量/分區？ 我們的應用程序在 golang 和 java 中。 但是，歡迎任何解決方案。 提前致謝。 ...

Sarama Cluster Admin - Broker Connected 方法返回 false

[英]Sarama Cluster Admin - Broker Connected method return false

版本薩拉瑪-v1.32.0 卡夫卡 - 5.4.6-2.12 Go-v1.16.2 我正在嘗試檢查代理是否已連接，但它為 Connected() 方法返回 false。 如果有解釋為什么它返回錯誤？ 我需要寫一份健康檢查，所以我最初的計划是檢查經紀人是否已連接，但我還能做其他檢查嗎？ 這返回真。 ...

消費者的Kafka主題和分區分配

[英]Kafka Topic and Partition allocation for consumer

我剛開始研究kafka，我需要使用sarama go pkg開發一個消費者客戶端，客戶端應該是消費者組的一部分，需要從兩個主題A和B中讀取，客戶端需要從一些分區中讀取任何平衡策略分配給它的主題 A 和 B 它需要從所有分區中讀取（B 有點像廣播主題）。 工作流程： 消費群xx。 我有兩個 ...

如何按順序使用來自 kafka 的消息？

[英]How can I consume message from kafka in order?

生產者生成一些數據並按順序發送到 Kafka，例如： {uuid：123 狀態：1} {uuid：123 狀態：3} 狀態 1表示開始 狀態 3表示成功 我使用sarama.NewConsumerGroup(xx, xx, config).Consume(xx, xx, myhandler ...

Golang刪除Kafka主題中的所有記錄

[英]Golang delete all records from a topic in Kafka

嗨，我正在用 Go 和 Kafka 編寫一個服務，我需要實現一個刪除所有端點，該端點將從特定主題中刪除所有記錄。 但是我找不到合適的方法來做到這一點。 我正在為 Kafka 使用Sarama 庫。 到目前為止，我能找到的實現全部刪除的唯一兩種方法是刪除主題，這似乎不是處理此問題的有效方法，第二種方 ...

Kafka：Sarama、冪等性和 transactional.id

[英]Kafka: Sarama, idempotence and transactional.id

Shopify/sarama是否在 JVM API 中提供類似於transactional.id的選項？ 該庫支持冪等性（ Config.Producer.Idemponent ，類似於enable.idempotence ），但我不明白如何在沒有transactional.id的情況下使用它。 ...

如何在 kubernetes 部署中擴展 sarama 消費者組？

[英]How can I scale sarama consumer group in kubernetes deployment?

我正在嘗試讓一些消費者處理來自 kafka 的消息，並且我想實現 kubernetes 部署可擴展性以實現彈性消息處理能力。 我從 sarama 官方指南https://pkg.go.dev/github.com/Shopify/sarama#NewConsumerGroup中找到了這段代碼： 我 ...

在 Sarama 中重命名 kafka 消費者組？

[英]Rename kafka consumer group in Sarama?

我有一個用例，我想將consumer_group_2重命名為consumer_group 。 我想這樣做是因為我想從 consumer_group_2 的最后消費偏移量開始consumer_group_2 ，但我想將組 ID 從consumer_group重命名為consumer_group_2 ...

如何為 protbuf 使用自描述消息

[英]How to use self-describing message for protbuf

我在使用協議緩沖區時正在處理的用例之一是反序列化我在消費者端收到的協議緩沖區 Kafka 消息（使用 sarama 庫和 Go）。 我目前的做法是定義示例 pixel.proto 文件，如下所示。 我正在通過 sarama.Producer（通過編組它）發送消息，接收它 sarama.Cons ...

測試來自 GitHub.com/Shopify/sarama 的日志輸出

[英]Testing log output from GitHub.com/Shopify/sarama

我正在嘗試為配置github.com/Shopify/sarama的Logger的功能選項編寫單元測試。 在像這樣用 Kafka 運行一個 Docker 容器之后， 我正在嘗試運行這個程序： package main import ( "bufio" "bytes" " ...

2020-09-25 23:47:48   1   303    go / sarama  
將 JSON 對象數組解析為單個文檔

[英]Parsing array of JSON objects into individual documents

我正在收集代理生成的日志。 它會生成一個大的 JSON output ，我需要將其分解為較小的 JSON 文檔並使用 sarama 寫入 kafka。 由於 kafka 消息的最大大小限制，我在分解為幾個單獨的 JSON 文檔時遇到問題。 任何建議將不勝感激。 除了指示日志活動的日期/時間字段外，日 ...


排序:
質量:
 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM