从存储帐户创建 Azure databricks 笔记本

Question

我们将 python 脚本存储在 Blob 中的 Azure 存储帐户中。 我们想在 azure databricks 集群中部署/创建这个 python 脚本（作为笔记本），以便稍后我们可以运行 Azure 数据工厂管道和管道可以执行数据块创建/部署的笔记本。

我们只想在 blob 中可用时创建/部署此脚本一次。

我试图搜索 web 但找不到合适的解决方案。

是否可以从存储帐户部署/创建笔记本？ 如果是，如何？

谢谢你。

Answer 1

您可以使用 URL 将笔记本导入 Databricks，但我希望您不会公开该笔记本。

另一种解决方案是结合使用azcopy工具和Databricks CLI （ workspace子命令）。 像这样的东西：

azcopy cp  "https://[account].blob.core.windows.net/[container]/[path/to/script.py" .
databricks workspace import -l PYTHON script.py '<location_on_databricks>'

您也可以完全在笔记本中完成此操作，将dbutils.fs.cp命令与 Databricks 的工作区 REST API相结合，但这可能会更复杂，因为您需要获取个人访问令牌 Z95A14046A71A207E4AFCD5878

Answer 2

我们可以使用databricks API 2.0 在databricks集群中导入python脚本。

这是 API 定义： https://docs.microsoft.com/en-us/azure/databricks/dev-tools/api/latest/workspace#--import