可以同时运行多少个Mapreduce作业

Question

我想知道在单个节点hadoop环境中可以同时提交/运行多少个Mapreduce作业。是否有限制？

Answer 1

从配置的角度来看，我没有限制。 您可以设置地图数量，并将插槽减少到所需的任何位置。 但是，实际上，每个插槽都必须启动一个能够运行某些hadoop代码的JVM，这需要一定数量的内存，因此最终您的计算机上的内存将用完。 您可能还必须巧妙地配置作业队列，才能同时运行大量任务。

现在，可能的问题与什么是好主意是一个截然不同的问题...

Answer 2

您可以提交任意数量的作业，这些作业将排队等待，调度程序将根据FIFO（默认情况下）和可用资源来运行它们。hadoop执行的作业数量将取决于上述John。

Answer 3

配置集群时，将设置Reducer插槽的数量。 这将根据每个作业请求的Reducer数量来限制MapReduce作业的数量。 映射器通常受到数据节点数量和每个节点的处理器数量的限制。