Apache Flume采样率

Question

在将记录写入HDFS之前是否可以为Flume指定采样率？ 是否有一些水槽接收器配置用于执行此操作，或者我们需要编写自己的Flume拦截器进行采样？ 我在Apache Flume用户指南页面上找不到任何文档。

Answer 1

是的，您可以通过在hdfs接收器中指定批处理大小来实现：

hdfs.batchSize = 100 // 100 is the default.

您还应该确保指定的通道容量也足够大。