为什么Livy或spark-jobserver而不是简单的Web框架？

Question

我正在Apache Spark上构建一个RESTful API。 使用spark-submit提供以下Python脚本似乎工作正常：

import cherrypy
from pyspark.sql import SparkSession

spark = SparkSession.builder.appName('myApp').getOrCreate()
sc = spark.sparkContext

class doStuff(object):
    @cherrypy.expose
    def compute(self, user_input):
        # do something spark-y with the user input
        return user_output

cherrypy.quickstart(doStuff())

但谷歌搜索我看到像Livy和spark-jobserver这样的东西。 我阅读了这些项目的文档和一些教程，但我仍然没有完全理解Livy或spark-jobserver优于使用CherryPy或Flask或任何其他Web框架的简单脚本的优点。 它是关于可扩展性的吗？ 上下文管理？ 我在这里错过了什么？ 如果我想要的是一个用户不多的简单RESTful API，那么Livy或spark-jobserver值得吗？ 如果是这样，为什么？

Answer 1

如果使用spark-submit ，则必须手动将JAR文件上载到群集并运行命令。 一切都必须在跑步前准备好

如果您使用Livy或spark-jobserver，那么您可以以编程方式上载文件并运行作业。 您可以添加将连接到同一群集的其他应用程序，并使用下一个作业上传jar

更重要的是，Livy和Spark-JobServer允许你在交互模式下使用Spark，这很难用spark-submit;）

Answer 2

我不会评论使用Livy或spark-jobserver，但至少有三个理由可以避免将Spark上下文直接嵌入到您的应用程序中：

• 安全性主要侧重于减少群集对外界的暴露。 如果未正确配置集群，则获取对应用程序的控制权的攻击者可以在访问您的数据与执行群集上的任意代码之间执行任何操作。

• 稳定性。 Spark是一个复杂的框架，有许多因素会影响其长期性能和稳定性。 解耦Spark上下文和应用程序使您可以优雅地处理Spark问题，而无需完全停机。

• 响应性。 面向Spark API的用户主要是（在PySpark中）专用的。 使用外部服务基本上可以解决这个问题。