在Yarn上运行时，容器/资源分配在Hadoop和Spark中意味着什么？

Question

当Spark在内存中运行时，在纱线上运行时资源分配在Spark中意味着什么，它与hadoop的容器分配有何不同？ 只是想知道hadoop的数据和计算是否在磁盘上，就像Spark在内存中一样。

Answer 1

Hadoop是一个能够处理大数据的框架。 它有两层。 一个是称为HDFS的分布式文件系统层，第二个是分布式处理层。 在hadoop 2.x中，处理层是以通用方式构建的，因此它也可以用于非mapreduce应用程序。 为了执行任何过程，我们需要系统资源，例如内存，网络，磁盘和cpu。 术语容器来自hadoop2.x。 在hadoop 1.x中，等效项是slot。 容器是内存和cpu的分配或共享。 YARN是一种通用的资源管理框架，它可以通过适当的分配和共享来有效利用群集节点中的资源。

内存中处理意味着将数据完全加载到内存中并进行处理，而无需将中间数据写入磁盘。 由于计算是在内存中进行的，而没有太多的磁盘I / O操作，因此此操作将更快。 但这需要更多的内存，因为整个数据将被加载到内存中。

批处理意味着将对数据进行批处理，中间结果将存储在磁盘中，并再次提供给下一个处理。 这也需要内存和cpu进行处理，但是与完全内存处理系统相比，它会更少。

YARN的资源管理器充当mapreduce，impala（带有美洲驼），spark（以毛线模式）等应用程序的中央资源分配器。因此，当我们触发作业时，它将向资源管理器请求执行所需的资源。 资源管理器将根据可用性分配资源。 资源将以容器的形式分配。 容器只是内存和cpu的分配。 一项工作可能需要多个容器。 容器将根据可用性在整个群集中分配。 任务将在容器内执行。

例如，当我们提交mapreduce作业时，将启动MR应用程序主文件，并将与资源管理器协商其他资源。 Map和reduce任务将在分配的资源中产生。

同样，当我们提交Spark作业（YARN模式）时，将启动Spark应用程序主文件，并与资源管理器协商其他资源。 RDD将在分配的资源中生成。