在Spark上进行配置时，在Spark Master Web UI中的作业应用程序中总是错误的executor_cores

Question

我正在尝试将mapreduce上的hive 2.1.1切换为spark上的hive。 正如在Hive官方网站上的Hive中所说的那样，我没有spark 1.6.0构建了一个spark 1.6.0 （关于Hive 2.1.1源代码POM中的Spark Rev）。 Spark通过submit/spark-shell测试工作正常。 我设定

spark.executor.cores / spark.executor.memory

在hive-site.xml ，还将这两个限制为

SPARK_WORKER_CORES / SPARK_WORKER_MEMORY

在spark-env.sh 。 但是在我从hive cli中启动诸如select count(*)类的hive查询后，spark master Web UI中的作业始终应用了0个CPU内核，因此该作业没有执行，并且hive查询像在cli中一样一直等待。 并且spark集群是在docker环境中设置的，每个服务器都是在服务器上运行的docker容器，最多可增加160个核心/ 160g内存 。 在我设置SPARK_WORKER_CORES / SPARK_WORKER_MEMORY之前，始终应用156个内核，这也会导致失败而导致资源不足。 在我将SPARK_WORKER_CORES / SPARK_WORKER_MEMORY设置为仅限分配给Docker容器的资源后，将应用0。

我被困在问题上2天没有进展。 希望从熟悉docker上的hive或在docker env上运行hive / spark的任何人那里获得一些提示。

Answer 1

我认为Spark执行引擎根本不能与Hive一起使用。 您正在尝试与spark集成的配置单元版本是由spark 2.0.0而非1.6.0构建的 。以前对此进行了很多讨论。 在此处查看线​​程 。使用Tez更好，因为许多用户对该线程进行报告。