無法在Scala-IDE調用的“ yarn-client”模式下初始化SparkContext

Question

我已經安裝了Cloudera VM（單節點），並且在此VM中，我在Spark上運行了Spark。 我想使用Eclipse IDE（帶有scala插件）​​對Spark進行測試/學習。

如果我按以下方式實例化SparkContext，那么一切都會按預期進行

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext._

val sparkConf = new SparkConf().setAppName("TwitterPopularTags").setMaster("local[2]")

但是，如果我現在想通過將主服務器更改為“ yarn-client”來連接到本地服務器，則它不起作用：

val master = "yarn-client"
val sparkConf = new SparkConf().setAppName("TwitterPopularTags").setMaster(master)

具體來說，我收到以下錯誤：

Eclipse控制台中顯示的錯誤詳細信息：

NodeManager日志中的錯誤詳細信息：

這是到目前為止我嘗試過的事情： 1.依賴性我通過Maven存儲庫添加了所有依賴性，Cloudera版本為5.5，相應的Hadoop版本為2.6.0，Spark版本為1.5.0。

2.配置我在Eclipse classpath中添加了3個路徑變量：

• SPARK_CONF_DIR = / etc / spark / conf /
• HADOOP_CONF_DIR = / usr / lib / hadoop /
• YARN_CONF_DIR = / etc / hadoop / conf.cloudera.yarn /

誰能澄清我這里的問題和解決方法？

Answer 1

我努力了！ 我仍然不明白確切的問題是什么，但是我在hadoop中創建了一個帶有我的用戶名的文件夾，即/ user / myusername目錄，它可以正常工作。 無論如何，現在我切換到Hortonworks發行版，並且我發現它比Cloudera發行版更容易上手。