每个映射器“类型”的多个输入文件

Question

我正在尝试运行每个映射器“类型”接收不同输入文件的作业。 我知道有一种使用MultipleInputs类的Java来做到这一点的方法，如下所示：

MultipleInputs.addInputPath(job,new Path(args[0]),TextInputFormat.class,CounterMapper.class);
MultipleInputs.addInputPath(job,new Path(args[1]),TextInputFormat.class,CountertwoMapper.class);

其中CounterMapper.class和CountertwoMapper.class是各自的映射器“类型”。

我正在尝试使用MrJob for Python或非Java的任何其他语言实现类似的功能（请不要问为什么！）。

该图像类似于我想要实现的图像。

任何帮助表示赞赏。

Answer 1

我找到了一种方法，可以将不同的映射器关联到单个输入路径，这不能完全回答您的问题，但希望对您有所帮助。 在下面的链接中

在hadoop上的一个流作业中使用多个映射器输入？