繁体   English   中英

Kafka生产者,每秒可调整消息量

[英]Kafka producer with adjustable amount of messages per second

编写具有稳定但可调输出的Apache Kafka生产器的最佳方法是什么。

示例:生产者应将恒定的1000条消息/秒发送给代理。 在运行期间,输出应可调整为10或10000条消息/秒。

一种方法是设置一个调度程序,该调度程序每秒运行一次并批量发送预定义数量的消息。

另外:由于此生产者应成为性能测试框架的一部分,因此需要发送的消息量非常大。 有人将如何处理非常高的负载? 为此使用Akka会有益吗?

目标语言是Scala,但是非常欢迎使用任何语言的示例代码。

在Java中,这可以通过在生产者代码中使用guava的RateLimiter来实现,您可以在其中定义生产者向kafka代理产生消息的速率。

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM