在Azure HdInsight的Linux群集上的Spark中运行Zeppelin段落时出错

Question

我一直在按照本教程进行操作 ，以便在Linux上的HDInsight的Spark群集（版本1.5.2）上设置Zeppelin。 一切正常，我设法通过SSH隧道成功连接到Zeppelin笔记本。 但是，当我尝试运行任何类型的段落时，第一次出现以下错误：

java.io.IOException：方案：wasb没有文件系统

收到此错误后，如果我尝试重新运行该段落，则会收到另一个错误：

java.net.SocketException：java.net.SocketOutputStream.socketWrite0（本地方法）处管道损坏

不管我输入什么代码，都会发生这些错误，即使没有引用hdfs。 我的意思是，即使对于琐碎的scala表达式（例如并行化），我也会收到“ No FileSystem”错误。

是否缺少配置步骤？

Answer 1

我正在下载您键入的脚本所指向的tar球。 但是我想猜测的是，您的zeppelin安装和spark安装无法完全与wasb一起使用。 为了使火花与wasb配合使用，您需要在Class路径中添加一些jar。 为此，您需要在spark-defaults.conf中添加类似的内容（HDInsights中的路径可能不同，这是来自IaaS上的HDP）

spark.driver.extraClassPath /usr/hdp/2.3.0.0-2557/hadoop/lib/azure-storage-2.2.0.jar:/usr/hdp/2.3.0.0-2557/hadoop/lib/microsoft-windowsazure-storage-sdk-0.6.0.jar:/usr/hdp/2.3.0.0-2557/hadoop/hadoop-azure-2.7.1.2.3.0.0-2557.jar
spark.executor.extraClassPath /usr/hdp/2.3.0.0-2557/hadoop/lib/azure-storage-2.2.0.jar:/usr/hdp/2.3.0.0-2557/hadoop/lib/microsoft-windowsazure-storage-sdk-0.6.0.jar:/usr/hdp/2.3.0.0-2557/hadoop/hadoop-azure-2.7.1.2.3.0.0-2557.jar

一旦有了与wasb合作的火花，或者下一步是在齐柏林飞艇类路径中创建相同的jar。 测试设置的一种好方法是制作一个笔记本，该笔记本可以打印环境变量和类路径。

sys.env.foreach(println(_))

val cl = ClassLoader.getSystemClassLoader
cl.asInstanceOf[java.net.URLClassLoader].getURLs.foreach(println)

还要查看安装脚本，它试图从wasb中拉出齐柏林飞艇的罐子，您可能想在尝试某些更改时将其配置更改为其他位置。 （zeppelin.sh）

export SPARK_YARN_JAR=wasb:///apps/zeppelin/zeppelin-spark-0.5.5-SNAPSHOT.jar

我希望这会有所帮助，如果您仍然有问题，我还有其他一些想法，但是首先要从这些想法开始。