在Azure HdInsight的Linux群集上的Spark中運行Zeppelin段落時出錯

Question

我一直在按照本教程進行操作 ，以便在Linux上的HDInsight的Spark群集（版本1.5.2）上設置Zeppelin。 一切正常，我設法通過SSH隧道成功連接到Zeppelin筆記本。 但是，當我嘗試運行任何類型的段落時，第一次出現以下錯誤：

java.io.IOException：方案：wasb沒有文件系統

收到此錯誤后，如果我嘗試重新運行該段落，則會收到另一個錯誤：

java.net.SocketException：java.net.SocketOutputStream.socketWrite0（本地方法）處管道損壞

不管我輸入什么代碼，都會發生這些錯誤，即使沒有引用hdfs。 我的意思是，即使對於瑣碎的scala表達式（例如並行化），我也會收到“ No FileSystem”錯誤。

是否缺少配置步驟？

Answer 1

我正在下載您鍵入的腳本所指向的tar球。 但是我想猜測的是，您的zeppelin安裝和spark安裝無法完全與wasb一起使用。 為了使火花與wasb配合使用，您需要在Class路徑中添加一些jar。 為此，您需要在spark-defaults.conf中添加類似的內容（HDInsights中的路徑可能不同，這是來自IaaS上的HDP）

spark.driver.extraClassPath /usr/hdp/2.3.0.0-2557/hadoop/lib/azure-storage-2.2.0.jar:/usr/hdp/2.3.0.0-2557/hadoop/lib/microsoft-windowsazure-storage-sdk-0.6.0.jar:/usr/hdp/2.3.0.0-2557/hadoop/hadoop-azure-2.7.1.2.3.0.0-2557.jar
spark.executor.extraClassPath /usr/hdp/2.3.0.0-2557/hadoop/lib/azure-storage-2.2.0.jar:/usr/hdp/2.3.0.0-2557/hadoop/lib/microsoft-windowsazure-storage-sdk-0.6.0.jar:/usr/hdp/2.3.0.0-2557/hadoop/hadoop-azure-2.7.1.2.3.0.0-2557.jar

一旦有了與wasb合作的火花，或者下一步是在齊柏林飛艇類路徑中創建相同的jar。 測試設置的一種好方法是制作一個筆記本，該筆記本可以打印環境變量和類路徑。

sys.env.foreach(println(_))

val cl = ClassLoader.getSystemClassLoader
cl.asInstanceOf[java.net.URLClassLoader].getURLs.foreach(println)

還要查看安裝腳本，它試圖從wasb中拉出齊柏林飛艇的罐子，您可能想在嘗試某些更改時將其配置更改為其他位置。 （zeppelin.sh）

export SPARK_YARN_JAR=wasb:///apps/zeppelin/zeppelin-spark-0.5.5-SNAPSHOT.jar

我希望這會有所幫助，如果您仍然有問題，我還有其他一些想法，但是首先要從這些想法開始。