如何修改Map-Reduce执行顺序？

Question

原始的Map-Reduce执行链是： InputSplits-->Mapper--> [Sorting/Shuffling, etc]-->Reducer-->...

现在我不希望输入拆分首先到达Mappers，而是转到其他新阶段（我们可以称之为Pre-Mapper，例如，这个类将由我自己创建）。

所以新订单将是： InputSplits -> Pre-Mapper->Mapper ->...

我正在阅读源代码。 但是，我仍然找不到任何线索（我应该触摸哪些课程）。

任何建议都是受欢迎的。 非常感谢你 ：）

Answer 1

也许你应该看看链接映射器： ChainMapper

Answer 2

你可以实现它使用两个阶段MapReduce：

第一阶段：Mapper - > Sorting / Shuffling - > Reducer [这个reducer除了直接用Mapper写数据外什么都不做];

第二阶段：Mapreduce;

这一阶段就是你在Pre Mapper中做的事情;

Answer 3

您可以考虑重写MapRunner类