Hadoop将变量传递给mapper和reducer

Question

我是Hadoop的完整入门者。 我已经建立了字数统计，而且我相当确定我了解基本知识，但是在将其扩展到实际问题时遇到了麻烦。 我的（修改后的）代码如下：

for (Item i : set) {
    for (Item j : set) {
        Score s = score(i, j);
        renderer.render(s);
    }
}

我想使用Hadoop分发它。 我可以编写一个Mapper和Reducer，但是我不知道如何将集合传递给Mapper和渲染器传递给Reducer（或者这是否是惯用的处理方式）。 我也觉得我需要编写自己的Writable来处理在Mapper和Reducer之间传递对（i，j），但是我不知道这样做的最佳方法。 任何帮助，将不胜感激。

Answer 1

您要做的本质上是set本身的笛卡尔积。 您可能需要实现自定义输入格式。

这是一个通用笛卡尔积作业的示例： https : //github.com/adamjshook/mapreducepatterns/blob/master/MRDP/src/main/java/mrdp/ch5/CartesianProduct.java

您可以在第67-77行看到与上述输入路径相同的逻辑： https : //github.com/adamjshook/mapreducepatterns/blob/master/MRDP/src/main/java/mrdp/ch5/CartesianProduct。 java＃L67-L77