[英]How to configure Apache Flume 1.4.0 to fetch data from Twitter and put in HDFS (Apache Hadoop version 2.5)?
[英]Apache Flume without hadoop
我是新来的水槽和Hadoop。 我有一个疑问:是否可以在不配置hadoop的情况下使用flume?
谁能分享他们的知识?
是的,Flume可以完全独立于Hadoop而工作。 但是,它确实对HDFS有一些软件包依赖性。 如果您不打算使用HDFS接收器,则可以在没有Hadoop的情况下使用它
是! 至于我最近的水槽配置[source = Twitter,channel = memory],我使用了loggerSink将流过的“数据”放入文件系统中的日志文件(unix文件dir)中,您只需要对数据做些什么即可有道理。 尽管作为水槽安装的一部分,还有其他水槽可用(HDFSSink,HBaseSink,IRC,文件卷,请检查https://flume.apache.org/FlumeUserGuide.html了解更多详细信息和用法),或者您可以创建一个新的水槽。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.