簡體   English   中英

Kafka生產者,每秒可調整消息量

[英]Kafka producer with adjustable amount of messages per second

編寫具有穩定但可調輸出的Apache Kafka生產器的最佳方法是什么。

示例:生產者應將恆定的1000條消息/秒發送給代理。 在運行期間,輸出應可調整為10或10000條消息/秒。

一種方法是設置一個調度程序,該調度程序每秒運行一次並批量發送預定義數量的消息。

另外:由於此生產者應成為性能測試框架的一部分,因此需要發送的消息量非常大。 有人將如何處理非常高的負載? 為此使用Akka會有益嗎?

目標語言是Scala,但是非常歡迎使用任何語言的示例代碼。

在Java中,這可以通過在生產者代碼中使用guava的RateLimiter來實現,您可以在其中定義生產者向kafka代理產生消息的速率。

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM