在Spark上進行配置時，在Spark Master Web UI中的作業應用程序中總是錯誤的executor_cores

Question

我正在嘗試將mapreduce上的hive 2.1.1切換為spark上的hive。 正如在Hive官方網站上的Hive中所說的那樣，我沒有spark 1.6.0構建了一個spark 1.6.0 （關於Hive 2.1.1源代碼POM中的Spark Rev）。 Spark通過submit/spark-shell測試工作正常。 我設定

spark.executor.cores / spark.executor.memory

在hive-site.xml ，還將這兩個限制為

SPARK_WORKER_CORES / SPARK_WORKER_MEMORY

在spark-env.sh 。 但是在我從hive cli中啟動諸如select count(*)類的hive查詢后，spark master Web UI中的作業始終應用了0個CPU內核，因此該作業沒有執行，並且hive查詢像在cli中一樣一直等待。 並且spark集群是在docker環境中設置的，每個服務器都是在服務器上運行的docker容器，最多可增加160個核心/ 160g內存 。 在我設置SPARK_WORKER_CORES / SPARK_WORKER_MEMORY之前，始終應用156個內核，這也會導致失敗而導致資源不足。 在我將SPARK_WORKER_CORES / SPARK_WORKER_MEMORY設置為僅限分配給Docker容器的資源后，將應用0。

我被困在問題上2天沒有進展。 希望從熟悉docker上的hive或在docker env上運行hive / spark的任何人那里獲得一些提示。

Answer 1

我認為Spark執行引擎根本不能與Hive一起使用。 您正在嘗試與spark集成的配置單元版本是由spark 2.0.0而非1.6.0構建的 。以前對此進行了很多討論。 在此處查看線​​程 。使用Tez更好，因為許多用戶對該線程進行報告。