如何为Zeppelin配置Livy / spark？

Question

我已经用Spark成功配置了Zeppelin。 但是，我想使用多租户，为此我想用Livy和Spark配置Zeppelin。

对于Livy，我提供了以下两条路径

export SPARK_HOME=/opt/cloudera/parcels/CDH/lib/spark
export HADOOP_CONF_DIR=/etc/hadoop/conf

我可以在Zeppelin中成功运行以下命令：

%livy.spark
sc.version

但是，以下命令失败：

%livy.sql
select * from myDB.table1

我看到以下错误：

<console>:14: error: not found: value sqlContext
              sqlContext.sql("select * from datalake.combination2").show(1000)

我还没有为Zeppelin启用Shiro身份验证。 我的假设是Livy会使用默认用户登录Spark，因为我提供了Spark主目录。 任何人都可以指出我如何解决上述问题？ 而且，我需要做什么配置才能实现模拟？

Answer 1

当我的集群没有足够的资源来启动一个livy会话时，我就会发生这种情况。 你在zeppelin配置了你的livy会话吗？
解释器 - > livy2 - >基本的火花配置：

      - livy.spark.driver.cores  
      - livy.spark.driver.memory  
      - livy.spark.executor.cores   
      - livy.spark.executor.instances   
      - livy.spark.executor.memory  
      - livy.spark.master  
      - livy.spark.submit.deployMode

还配置解释器实例化：global | 用户| 注意