是否可以从Hadoop中的同一reducer写入HBase和多个文件
[英]is it possible to write to HBase and multiple files from the same reducer in Hadoop
问题描述
我们需要能够将map / reduce的输出写入到多个文件（已经工作）以及HBase表中。 这可能吗？ 我一直在看MultipleOutputs选项，但是我不知道该怎么做或者它是否可行。 我对haddop非常陌生。 如果有人知道网络上的任何示例，请您指出正确的方向吗？ 谢谢。
1 个解决方案
解决方案1
0 2013-11-27 05:50:53
我个人还没有尝试过，但是MultipleOutputs的API确实支持它。 因为您为每个命名的输出分别配置了输出键/值类，所以可以具有一个（或多个） *FileOutputFormat而可以具有TableOutputFormat 。
是否可以将属性从映射器传递到hadoop中的reducer？
[英]Is it possible to pass properties from a mapper to a reducer in hadoop?
在hadoop流中，我可以将文件写入到reducer的本地磁盘中吗？
[英]In hadoop streaming, can I write files to the local disc in the reducer?
hadoop / HDFS：是否可以从多个进程写入同一文件？
[英]hadoop/HDFS: Is it possible to write from several processes to the same file?
如何在hadoop减速器中编写不同格式的多个输出？
[英]How to write multiple outputs of different formats in a hadoop reducer?
将数据从HBase迁移到FileSystem。 （将Reducer输出写入本地或Hadoop文件系统）
[英]Migrating Data from HBase to FileSystem. (Writing Reducer output to Local or Hadoop filesystem)
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
Hadoop-将Reducer编号设置为0，但写入同一文件？
HBase mapreduce：在Reducer中写入HBase
是否可以将属性从映射器传递到hadoop中的reducer？
在hadoop流中，我可以将文件写入到reducer的本地磁盘中吗？
hadoop / HDFS：是否可以从多个进程写入同一文件？
Hadoop映射器输出到HBase表和化简器
如何在hadoop减速器中编写不同格式的多个输出？
将数据从HBase迁移到FileSystem。 （将Reducer输出写入本地或Hadoop文件系统）
在Reducer中从HBase读取数据
是否可以从非HDFS文件系统HBASE连接HADOOP？
相关标签