Apache Livy：通过 REST 查询 Spark SQL：可能吗？

Question

apache Livy 文档很少：是否可以使用 Apache Livy 将 Spark SQL 查询结果集作为 REST 调用返回？ 调用应用程序是移动的，它不能使用 odbc/jdbc 连接。 所以 Spark thriftserver 不是一个选择。

Answer 1

是的，可以通过 Livy 提交 Spark SQL 查询。 但是，[目前] 不支持自行提交的查询。 它们需要用 Python 或 Scala 代码包装。

以下是使用 Python 执行 Spark SQL 查询的两个示例，通过请求 lib 和 Scala 代码作为要“在 spark”中执行的字符串与 Livy 进行交互：

1) 在 livy 中使用 %json 魔法 ( https://github.com/apache/incubator-livy/blob/412ccc8fcf96854fedbe76af8e5a6fec2c542d25/repl/src/test/scala/org/apache/livy/repl/PythonInterpreterSpec.scala )

session_url = host + "/sessions/1"
statements_url = session_url + '/statements'
data = {
        'code': textwrap.dedent("""\
        val d = spark.sql("SELECT COUNT(DISTINCT food_item) FROM food_item_tbl")
        val e = d.collect
        %json e
        """)}
r = requests.post(statements_url, data=json.dumps(data), headers=headers)
print r.json()

2) 在 livy ( https://github.com/apache/incubator-livy/blob/412ccc8fcf96854fedbe76af8e5a6fec2c542d25/repl/src/test/scala/org/apache/livy/repl/PythonInterpreterSpec105L ) 中使用 %table 魔法

session_url = host + "/sessions/21"
statements_url = session_url + '/statements'
data = {
        'code': textwrap.dedent("""\
        val x = List((1, "a", 0.12), (3, "b", 0.63))
        %table x
        """)}
r = requests.post(statements_url, data=json.dumps(data), headers=headers)
print r.json()

Answer 2

如果您使用的是Livy 0.7.0或更高版本，则您实际上并不需要魔法字符串。

1. 创建会话：

curl --location --request POST 'http://<host>:<port>/sessions' \
--header 'Content-Type: application/json' \
--data-raw '{
    "kind": "sql",
    "proxyUser": "cooL_user"
}'

2. 运行查询：

curl --location --request POST 'http://<host>:<port>/sessions/<sessionid>/statements' \
--header 'Content-Type: application/json' \
--data-raw '{
    "code": "select 1"
}'

3. 定期轮询结果：

curl --location --request GET http://<host>:<port>/sessions/<sessionid>/statements/0 | jq '.output.data.application/json.data' 

就是这样。 现在，您可以将此方法用于 Bash 之外的任何语言。 已经有一个名为PyLivy的 Python 库，它大致遵循了这种方法。