在不创建新集群的情况下在 azure 数据块中执行 spark-submit

Question

所以，这是我的问题。 我有一个 pyspark 作业存储在 dbfs 中，因为由于组织策略我无法访问数据块存储库，并且由于组织策略我无法在再次创建 spark-submit 作业时创建新集群。 他们有什么办法可以执行 pyspark 作业并将参数传递给它吗？

Answer 1

不幸的是，Spark 提交任务需要一个新的集群。 根据 PySpark 作业的创建方式，您可以尝试执行以下操作（请参阅任务类型下拉列表）：

• 使用Python script任务 - 它允许从 DBFS 获取 Python 文件：

• 使用Python wheel任务 - 如果您的代码被打包为 wheel 文件

这两个任务都支持在现有的交互式集群上执行，但会花费更多。