是否可以将 Apache Livy 配置为与 Spark Standalone 一起运行？

Question

在我安装 Apache Livy 的机器上（在 Ubuntu 16.04 上）：

(a) 是否可以在 Spark Standalone 模式下运行它？

我正在考虑使用 Spark 1.6.3，为 Hadoop 2.6 预构建，可从https://spark.apache.org/downloads.html下载

(b) 如果是，我该如何配置？

(c) Spark Standalone 的 HADOOP_CONF_DIR 应该是什么？ 链接https://github.com/cloudera/livy提到了以下环境变量：

export SPARK_HOME=/usr/lib/spark
export HADOOP_CONF_DIR=/etc/hadoop/conf

除了最后一个任务之外，我已经成功构建了 Livy，该任务正在等待 Spark 安装：

[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] livy-api ........................................... SUCCESS [  9.984 s]
[INFO] livy-client-common ................................. SUCCESS [  6.681 s]
[INFO] livy-test-lib ...................................... SUCCESS [  0.647 s]
[INFO] livy-rsc ........................................... SUCCESS [01:08 min]
[INFO] livy-core_2.10 ..................................... SUCCESS [  7.225 s]
[INFO] livy-repl_2.10 ..................................... SUCCESS [02:42 min]
[INFO] livy-core_2.11 ..................................... SUCCESS [ 56.400 s]
[INFO] livy-repl_2.11 ..................................... SUCCESS [03:06 min]
[INFO] livy-server ........................................ SUCCESS [02:12 min]
[INFO] livy-assembly ...................................... SUCCESS [ 15.959 s]
[INFO] livy-client-http ................................... SUCCESS [ 25.377 s]
[INFO] livy-scala-api_2.10 ................................ SUCCESS [ 40.336 s]
[INFO] livy-scala-api_2.11 ................................ SUCCESS [ 40.991 s]
[INFO] minicluster-dependencies_2.10 ...................... SUCCESS [ 24.400 s]
[INFO] minicluster-dependencies_2.11 ...................... SUCCESS [  5.489 s]
[INFO] livy-integration-test .............................. SUCCESS [ 37.473 s]
[INFO] livy-coverage-report ............................... SUCCESS [  3.062 s]
[INFO] livy-examples ...................................... SUCCESS [  6.841 s]
[INFO] livy-python-api .................................... FAILURE [  8.053 s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 13:59 min
[INFO] Finished at: 2016-11-29T13:14:10-08:00
[INFO] Final Memory: 76M/2758M
[INFO] ------------------------------------------------------------------------

谢谢。

Answer 1

为了将来参考，请按照以下步骤操作：（Ubuntu）

以下是您需要遵循的详细步骤：

1. 安装 JDK 8
2. 安装 Spark (spark-2.4.5-bin-hadoop2.7.tgz) 或 (spark-2.4.5-bin-without-hadoop-scala-2.12.tgz)
3. 安装 Livy (apache-livy-0.7.0-incubating-bin.zip)

4. 添加变量 .bashrc ：

   导出 JAVA_HOME="/lib/jvm/jdk1.8.0_251" 导出 PATH=$PATH:$JAVA_HOME/bin

   export SPARK_HOME=/opt/hadoop/spark-2.4.5-bin-hadoop2.7 export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

   export LIVY_HOME=/opt/hadoop/apache-livy-0.7.0-incubating-bin export PATH=$PATH:$LIVY_HOME/bin

   export HADOOP_CONF_DIR=/etc/hadoop/conf <--- (可选)

5. 在 $LIVY_HOME 中，我们需要创建名为“logs”的文件夹并为其授予权限，否则当我们启动“livy-server”时会出现错误。

6. 现在启动 start-master.sh（存在 Spark 的 sbin 文件夹）

7. 现在启动 start-slave.sh（可以在执行第 6 步并转到 localhost:8080 后获得 master-url）
8. 现在Livy的bin文件夹里有“livy-server”，刚刚启动。
9. 现在可以从 localhost:8998 访问 livy.s UI

10.有许多休息端点： https : //livy.incubator.apache.org/docs/latest/rest-api.html

11.如果您对运行JAR 感兴趣，那么请使用会话的批处理安装。

12.为spark创建简单的应用程序，其中将conf的master作为参数传递以使其动态（以便您可以传递master url）

13. 尝试这些版本与您安装的 spark 版本一起使用（如果您安装了 spark-2.4.5-bin-hadoop2.7.tgz）：

    斯卡拉版本：=“2.11.12”

    libraryDependencies += "org.apache.spark" %% "spark-core" % "2.4.5" libraryDependencies += "org.apache.spark" %% "spark-sql" % "2.4.5"

14. JDK 8 是必须的。 （JDK 11 导致 scala 2.11.12 和 spark 2.4.5 出现问题）

15. 现在，如果我将 Jar 文件保留在桌面上，则正常的 spark-submit 代码是：

spark-submit --class com.company.Main file:///home/user_name/Desktop/scala_demo.jar spark://abhishek-desktop:7077

16. 对于 Livy 来说：

POST本地主机：8998/batches

{
   "className": "com.company.Main",
   "executorMemory": "20g",
   "args": [
       "spark://abhishek-desktop:7077"
   ],
   "file": "local:/home/user_name/Desktop/scala_demo.jar"
}

17. 执行上面将返回状态为正在运行，我们只需要访问 localhost:8998 并检查日志以获取结果。

Answer 2

可能是缺少 python 模块。 查看失败的日志。

Traceback (most recent call last):
  File "setup.py", line 18, in <module>
    from setuptools import setup
ImportError: No module named setuptools

在这种情况下，您需要安装 setuptools 模块。

pip install setuptools
Collecting setuptools
  Downloading https://files.pythonhosted.org/packages/20/d7/04a0b689d3035143e2ff288f4b9ee4bf6ed80585cc121c90bfd85a1a8c2e/setuptools-39.0.1-py2.py3-none-any.whl (569kB)
    100% |████████████████████████████████| 573kB 912kB/s 
Installing collected packages: setuptools
Successfully installed setuptools-20.7.0

Answer 3

确保您已设置

export SPARK_HOME=/path/to/spark/home

然后运行mvn -DskipTests package 。

即使没有HADOOP_CONF_DIR它也应该可以工作