在 Reduce 阶段之后实施称为合并的第三阶段

Question

我需要添加第三个阶段 - 合并 - 它结合了单独的并行减少任务的输出。这使得执行连接和构建笛卡尔积之类的事情成为可能。谁能帮我怎么做？？我检查了没有Hadoop 0.21 API 支持他的function。

Answer 1

Hadoop 是 MapReduce（不是 MapReduceMerge。）框架，这不太可能改变，也就是说，您可以提交 Jira 或在http//获取官方立场。

如果你需要加入，你应该尝试 Pig（我唯一有实践经验的，但也有其他的 - Hive，...）。 Pig 使连接变得非常简单。