我如何从 Azure Devops 自动化 Databricks 笔记本

Question

我的所有代码都在 Azure Databricks 笔记本中。 我想使用 azure devops 自动执行我的笔记本。

我已将我的 Databricks Repos 与 Azure Repos 链接起来。 创建了一个构建管道来创建我的代码的工件。 在发布管道中。

我能够将我的代码部署到较低的环境（这里是我拥有代码的同一个 Databricks 工作区）。 但是我无法直接从 Azure Devops 执行/运行笔记本。

如何将代码从较低的环境部署到较高的环境（Prod Server）Databricks 工作区。

将代码部署到更高的环境是否与部署到更低的环境相同。 只是改变工作区的细节。 比如 Databricks Token、Workspace URL 等。

Answer 1

您需要创建发布管道并将您的代码推送到 GIT 存储库。
有关详细信息，请遵循此 Microsoft 文档 -
https://learn.microsoft.com/en-us/azure/databricks/dev-tools/ci-cd/ci-cd-azure-devops#:~:text=The%20release%20pipeline%20deploys%20the,管道%20menu%20and%20click%20Releases 。

Answer 2

这个演示展示了如何做到这一点。 这些步骤包括：

• 测试
  • 在 Databricks 工作区更新结帐 - 例如，您可能有一个单独的结帐以进行测试。 您可以通过Repos REST API或通过 databricks-cli（ databricks repos update命令）执行此操作
  • 使用Nutter 库触发测试执行
  • 向 DevOps 报告测试结果
• 发布
  • 如果测试成功，您可以将更新推送到暂存/生产环境——这可以通过 DevOps 发布管道完成
  • 您可以使用相同的 Repos REST API 或 databricks-cli 更新登台/生产中的结帐