如何访问通过 --files 在 spark 驱动程序中提交的文件？

Question

我们正在纱线集群上的火花中运行火花作业。 这些 spark 作业很少在客户端部署模式下运行，而其他在集群部署模式下运行。 我们正在使用 livy 服务器来编排 spark 提交。

作为其中的一部分，我们正在创建一个 livy 服务器会话并提交语句。

创建会话的示例代码

curl -XPOST "http://localhost:8090/sessions"  -H "Content-Type: application/json" -d '{ 
"kind": "spark",
"queue":"fixed_q",
"files":["file:///opt/configurations/application.conf"],
"jars":["file:///opt/jars/sampleapp.jar"]
}'

语句提交示例代码

curl -X POST "http://localhost:8090/sessions/1/statements"  -H 'Content-Type: application/json' -d '{
    "code": "println(scala.io.Source.fromFile(org.apache.spark.SparkFiles.get(\"application.conf\")).getLines.mkString(\"\\n\"))"
}'

上面的 livy 语句 submit 成功运行并在客户端模式下打印响应，但不在集群模式下运行。 该文件似乎也不存在于org.apache.spark.SparkFiles.get("application.conf")提供的工作节点中

启动livyserver 时，livy.conf 中提供了客户端和集群部署模式。

以下 livy 语句 submit 在集群模式下运行但不在客户端模式下运行

curl -X POST "http://localhost:8090/sessions/25/statements"  -H 'Content-Type: application/json' -d '{
    "code": "println(scala.io.Source.fromFile(\"application.conf\").getLines.mkString(\"\\n\"))"
}'

在客户端和集群部署模式下，是否有一种通用的方法可以运行相同的语句代码？