![](/img/trans.png)
[英]Spring Kafka making a producer
我必須制作一個 KafkaProducer 才能在我的服務中使用。 我編寫了這段代碼,但我不確定結構和良好的工作方式。 使用配置的服務是 我可以制作一個配置 bean 的 @Autowired 嗎? 我不能使用 kafka.core,但是有更好的方法來創建生產者並在生產者上使用 send 方法。 感 ...
[英]Spring Kafka making a producer
我必須制作一個 KafkaProducer 才能在我的服務中使用。 我編寫了這段代碼,但我不確定結構和良好的工作方式。 使用配置的服務是 我可以制作一個配置 bean 的 @Autowired 嗎? 我不能使用 kafka.core,但是有更好的方法來創建生產者並在生產者上使用 send 方法。 感 ...
[英]Using Python, how to produce kafka message more than 1MB?
我試圖通過 kafka 傳輸一些巨大的 json 數據,但它沒有發生。 python生產者沒有錯誤,消費者端也沒有任何消息。 ...
[英]Configuring Kafka Client Producer with PEM file
我們有以 GO 語言實現的 Kafka 服務器。 我們從服務器團隊獲得了以下信息。 我們正在使用 Kafka Java sdk 連接到服務器。 我不知道要在“producer.Properties”中使用哪些屬性才能連接到使用 PEM 文件以 GO 語言實現的 Kafka 服務器。 有人可以幫我嗎 ...
[英]golang producer consumer number of messages received
我在 golang 中編寫了生產者-消費者模式。 讀取多個csv文件和加工記錄。 我正在一個 go 中讀取 csv 文件的所有記錄。 我想以包括所有 csv 文件在內的總記錄的 5% 的間隔記錄處理完成的百分比。 例如,我有 3 個 csv 要處理,每個有 20,30,50 行/記錄(因此總共要處理 ...
[英]WARN [Producer clientId=console-producer] Bootstrap broker localhost:2181 (id: -1 rack: null) disconnected
我在 Microsoft Windows 10 Pro 上的 kafka 中啟動生產者時遇到問題。 Zookeper 和 kafka 服務器啟動正常。 我也沒有創建、列出和刪除主題的問題。 這是錯誤: WARN [Producer clientId=console-producer] Boots ...
[英]Could not create the IConnectionFactory implementation
我有一個 windows 服務。 我使用 Topshelf。 啟動時,它運行一個cs.Start()方法。 Start()方法調用另一個方法。 實現此異步方法見下文: 現在nmsService.Start()代碼: 但是,當運行實現時,這是一個例外: “無法創建 IConnectionFacto ...
[英]How to make producer idempotence in kafka cluster among two DC?
我對分布在 2 個 DC 中的 kafka 集群有一個重要的問題。 我想同時擁有:1)kafka 生產者冪等性和 2)從 DC1 到 DC2 的異步復制。 眾所周知,kafka 生產者冪等性需要在其屬性中啟用 acks=all。 這也需要 DC1 和 DC2 中所有經紀人的認可。 我的問題是:如何 ...
[英]How do I produce just one message using Spring Cloud Stream w/o deprecated @Output, or turn off polling?
我正在嘗試使用 Spring Cloud僅向 Kafka 發布一條消息,而沒有任何棄用的類/方法或注釋。 我還希望能夠輕松更改有效負載。 因此,為了清楚起見,我試圖不使用已棄用的@Output注釋,也不使用任何KafkaTemplate 。 我的配置: spring: cloud: ...
[英]Nodejs Kinesis Client fails with not much clue
我正在編寫一個簡單的 nodejs kinesis 生產者客戶端,它失敗並且沒有任何有用的信息。 這是代碼: 憑據被配置為從配置文件中獲取。 當我運行它時,我得到一個 TypeError “TypeError: Cannot read property 'byteLength' of undefin ...
[英]How does the retry logic works in kafka producers?
重試邏輯在生產者中如何工作? 我查看了與重試相關的生產者配置文檔但無法理解清楚? 請簡化並幫助我理解。 謝謝 ...
[英]Using SolAdmin/Solace to see which application is sending data to a specific Queue
我正在開發一個名為ngdf-diversion-client的節點 js 應用程序,該應用程序在 AWS 中運行並連接到也在 AWS 中運行的Solace實例。 我通過ngdf-diversion-client配置文件看到它通過ngdf/diversions隊列接收消息,我可以在SolAdmin中看 ...
[英]Producers and Consumers with semaphores and threads
我目前遇到此代碼的問題。 代碼中唯一有錯誤的部分是“io_production_report(thread_args[0].Produced, pointer);”。 終端提到錯誤如下“ 我在實現指針數組時遇到問題。 如果有人可以幫助我,那就太好了:! : 驅動程序.cpp 驅動程序.h io. ...
[英]Getting error while publishing message to kafka topic
我是卡夫卡的新手。 我編寫了一個簡單的 JAVA 程序來使用 avro 模式生成消息。 我已經生成了一個特定的記錄。 記錄生成成功。 我的架構尚未在我的本地環境中注冊。 它當前已在其他環境中注冊。 我正在使用 apache kafka 生產者庫將消息發布到我的本地環境 kafka 主題。 我可以將消 ...
[英]Python and Trio, where producers are consumers, how to exit gracefully when the job is done?
我正在嘗試使用trio an asks制作一個簡單的 web 爬蟲。 我使用nursery 一次啟動幾個爬蟲,並使用memory 頻道來維護要訪問的url 列表。 每個爬蟲接收該通道兩端的克隆,因此它們可以抓取 url(通過 receive_channel),讀取它,查找並添加要訪問的新 url( ...
[英]TypeError: '>' not supported between instances of 'float' and 'Synchronized'
類型錯誤:“浮動”和“同步”的實例之間不支持“>” 代碼: ... ...
[英]Child processes are creating a struct in the same memory address
這是我功能的開始。 我有一個父進程,它創建多個調用此生產者函數的子進程。 我希望每個 p_shm_recv_buf 結構對於進程來說都是唯一的,當我的打印語句輸出給我完全相同的內存地址時。 我不確定這里出了什么問題。 輸出: ...
[英]kafka console producer sending messages continuously
我在 Windows 中運行 Kafka。 我正在使用以下命令創建一個 Kafka 控制台生產者 並使用以下命令創建 kafka 控制台使用者 問題是我不斷收到消息。 昨天它只顯示了我正在向控制台制作者輸入的消息。 如何停止自動發送消息? 如果我正在打字,我需要發送消息,否則它不應該發 ...
[英]WARN org.apache.kafka.clients.NetworkClient - [Producer clientId=producer-1] Bootstrap broker 127.0.0.1:9092 (id: -1 rack: null) disconnected
我正在嘗試使用 java 程序制作 Kafka 制作人。 但是當我運行程序時,我收到了一些警告,沒有任何錯誤,但生產者沒有發送數據,警告如下。 POM.XML 文件 First_producer.java 文件 Shell 中的消費者命令 那么誰能幫我解決這個問題??? ...
[英]Kafka-console-producer returns topic timeout error
我正在嘗試使用 kafka-console-producer 生成消息。 但最終出現以下錯誤。 [2020-08-09 06:37:52,844] INFO Kafka 版本:5.4.2-ccs (org.apache.kafka.common.utils.AppInfoParser) [2020 ...
[英]what is the best way to pass data from mysql to kafka with springboot
將數據從 mysql 傳遞到卡夫卡生產的最佳方法是什么我知道有很好的卡夫卡連接器。 但是我想使用springboot框架。 因為我需要轉換數據並與其他 http 結果合並,所以我想將數據生成到 kafka。 那么有沒有什么好的例子,github,博客wahtever~? ...