spark & zeppelin 集成问题

Question

我想将本地安装的 zeppelin 0.10.0 连接到本地安装的 spark 3.2.0 （我尝试了与 spark2.3.0 相同的过程，它有效。）。 但看起来齐柏林飞艇本身有一个内部火花，每次我尝试时都会使用内部火花。 我已经完成了 spark 解释器的设置，但没有用。 我只想知道是否无论如何我可以更改zeppelin使用的默认内部火花并将其更改为我想要使用的火花3.2.0。

我将SPARK_HOME的参数设置为所谓的参数，并且spark.master local[*]收到以下错误：

org.apache.zeppelin.interpreter.InterpreterException: java.lang.NoSuchMethodError: scala.tools.nsc.Settings.usejavacp()Lscala/tools/nsc/settings/AbsSettings$AbsSetting;
    at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:76)
    at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:833)
    at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:741)
    at org.apache.zeppelin.scheduler.Job.run(Job.java:172)
    at org.apache.zeppelin.scheduler.AbstractScheduler.runJob(AbstractScheduler.java:132)
    at org.apache.zeppelin.scheduler.FIFOScheduler.lambda$runJobInScheduler$0(FIFOScheduler.java:42)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.NoSuchMethodError: scala.tools.nsc.Settings.usejavacp()Lscala/tools/nsc/settings/AbsSettings$AbsSetting;
    at org.apache.zeppelin.spark.SparkScala212Interpreter.open(SparkScala212Interpreter.scala:66)
    at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:121)
    at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:70)
    ... 8 more
org.apache.zeppelin.interpreter.InterpreterException: java.lang.NoSuchMethodError: scala.tools.nsc.Settings.usejavacp()Lscala/tools/nsc/settings/AbsSettings$AbsSetting;
    at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:76)
    at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:833)
    at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:741)
    at org.apache.zeppelin.scheduler.Job.run(Job.java:172)
    at org.apache.zeppelin.scheduler.AbstractScheduler.runJob(AbstractScheduler.java:132)
    at org.apache.zeppelin.scheduler.FIFOScheduler.lambda$runJobInScheduler$0(FIFOScheduler.java:42)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.NoSuchMethodError: scala.tools.nsc.Settings.usejavacp()Lscala/tools/nsc/settings/AbsSettings$AbsSetting;
    at org.apache.zeppelin.spark.SparkScala212Interpreter.open(SparkScala212Interpreter.scala:66)
    at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:121)
    at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:70)
    ... 8 more

Answer 1

我自己也遇到过同样的问题——你不会在Zeppelin 0.10.0上运行Spark 3.2.0 。 Spark 3.1.2没有任何问题，Zeppelin 包含Spark 2.4.5 - 这是工具本身的问题。

根据票ZEPPELIN-5565版本0.10.0 DOES NOT support Spark 3.2.0 。 这应该在0.10.1和0.11.0中修复（来自提到的票证的信息，我还检查了 Github 存储库）。

修复此问题的拉取请求要长得多，但在Zeppelin 0.10.0中有这样一条战略路线：

public static final SparkVersion UNSUPPORTED_FUTURE_VERSION = SPARK_3_2_0;