Azure Databricks 与 Python 脚本

Question

我是 Python 的新手。 在 Azure 数据块方面需要帮助。

设想：

目前我正在开发一个使用 HDInsight 集群提交 Spark 作业的项目，他们使用 Python 脚本和位于边缘节点 /bin/ 文件夹中的类和函数 [.py]。

我们建议使用 Databricks 而不是 HDInsight 群集，并且 PoC 需要最少的工作量。

疑点：

1. 在 HDInsight 群集中，所有 python 脚本都存储在 /bin/ 文件夹中，带有 .yml 的 conf 文件存储在 /conf/ 文件夹中。

我们能否在 databricks DBFS 中复制相同的结构，从而使复制位置的代码更改最少。

2.我是 Python 的新手，我在 /bin/ 文件夹中有一堆脚本。 如何在数据块中上传或安装这些脚本。

我的假设是，我需要创建一个 package 并作为库安装在集群上。 如果我错了，请纠正我。

3. 如何从 Databricks 运行 Python 脚本。

Answer 1

@Sathya 您能否提供有关不同 python 脚本以及配置文件的作用的更多信息？

至于 python 脚本，根据它们的 function 是什么，您可以在 Databricks 中创建一个或多个 python 笔记本并将内容复制到其中。 然后，您可以将这些笔记本作为作业的一部分运行，或者使用%run /path/to/notebook在其他笔记本中引用它们