在reduce阶段工作时如何开始map阶段

Question

我有这种情况。 JobA和JobB。 在仍然有效的情况下，是否有机会使用JobA reduce阶段提供的数据来启动JobB映射阶段？

谢谢！

Answer 1

我唯一想到的就是拥有一个线程（从驱动程序类开始），该线程可以永久检查JobA的输出目录。 创建并完全编写了一部分特定的r-xxxx文件后，您可以启动JobB，并输入该特定部分r-xxxx的文件。

我现在可以确定的唯一问题是与检查part-r-xxxx文件是否已完全写入有关的问题。