將水槽用作卡夫卡消費者

Question

是否可以將水槽接收器配置為我的代理的文件系統。 我是否必須沉入hdfs或hadoop？
我正在使用flume 1.6.0和kafka 10.1.1
如果您詢問，我將向您展示我的flume config和flume命令行args，但也許我正在做某事，但這並不是必須要做的。
我試圖在不安裝hadoop或hdfs的情況下在kafka方面進行一些概念驗證。
我看到了roll_file的配置，但也許在這些版本中，這樣的概念僅適用於hdfs？

Answer 1

文件水槽說

將事件存儲在本地文件系統上

但是，我建議不要使用Flume，因為它需要您安裝額外的Hadoop庫。

Kafka Connect是本機Kafka庫，您可以使用到文件（或HDFS）。

Answer 2

如果要使用水槽，則必須使用任何使用的ambari或cloudera管理器創建水槽代理。您必須具有hdfs才能從kafka接收數據。 來源將是kafka主題頻道可以是mem Sink HDFS