槽HDFS接收器自定義文件名

Question

在flume存儲的HDFS接收器中，有什么方法可以配置（通過事件動態地）文件名？ HDFS接收器提供以下名稱配置。

hdfs.filePrefix
hdfs.fileSuffix

Answer 1

是。 您可以通過以下參數在HDFS接收器中配置文件名。

hdfs.filePrefix = <<FILE_PREFIX>>-%{host}-%d-%H-%m-%s
hdfs.fileSuffix = <<FILE_SUFFIX>>-%{host}-%d-%H-%m-%s

%{host} = "It will pick up the hostname of your machine"
%t = "It will provide unix time in milliseconds "
%d= "Date"
%H= "Hour"
%m= "minutes"
%s= "seconds"

因此，Flume Bucket編寫器打開了供hdfs寫入的線程，通過使用“前綴/后綴”，我們可以動態創建文件名。