为什么一头猪/蜂巢有多个MapReduce工作？

Question

我正在使用Pig来执行我的hadoop工作。 当我运行Pig脚本，然后导航到YARN资源管理器UI时，我可以看到为同一个Pig作业创建了多个MapReduce作业吗？ 我相信对于Hive的工作也是如此。

有人可以让我知道其背后的原因吗？ 在什么基础上将一个养猪工作分成多个mapreduce工作？ 其中之一恰好是TempletonControllerJob。

谢谢

Answer 1

Templeton Controller Job就像是Parent作业，它将调用另一个子map-reduce作业。 基本上是控制执行。

在执行之前，Pig基本上提出了一个执行计划-在其中扫描Pig脚本中的所有步骤，并合并可以在单个作业中执行的步骤。 当Pig脚本中有两个步骤无法在单个作业中计算时，它将分为两个步骤。 完成合并并计算出每个作业的作业数量和步骤以得出最终结果后，它将开始执行。