将水槽用作卡夫卡消费者

Question

是否可以将水槽接收器配置为我的代理的文件系统。 我是否必须沉入hdfs或hadoop？
我正在使用flume 1.6.0和kafka 10.1.1
如果您询问，我将向您展示我的flume config和flume命令行args，但也许我正在做某事，但这并不是必须要做的。
我试图在不安装hadoop或hdfs的情况下在kafka方面进行一些概念验证。
我看到了roll_file的配置，但也许在这些版本中，这样的概念仅适用于hdfs？

Answer 1

文件水槽说

将事件存储在本地文件系统上

但是，我建议不要使用Flume，因为它需要您安装额外的Hadoop库。

Kafka Connect是本机Kafka库，您可以使用到文件（或HDFS）。

Answer 2

如果要使用水槽，则必须使用任何使用的ambari或cloudera管理器创建水槽代理。您必须具有hdfs才能从kafka接收数据。 来源将是kafka主题频道可以是mem Sink HDFS