我如何從 Azure Devops 自動化 Databricks 筆記本

Question

我的所有代碼都在 Azure Databricks 筆記本中。 我想使用 azure devops 自動執行我的筆記本。

我已將我的 Databricks Repos 與 Azure Repos 鏈接起來。 創建了一個構建管道來創建我的代碼的工件。 在發布管道中。

我能夠將我的代碼部署到較低的環境（這里是我擁有代碼的同一個 Databricks 工作區）。 但是我無法直接從 Azure Devops 執行/運行筆記本。

如何將代碼從較低的環境部署到較高的環境（Prod Server）Databricks 工作區。

將代碼部署到更高的環境是否與部署到更低的環境相同。 只是改變工作區的細節。 比如 Databricks Token、Workspace URL 等。

Answer 1

您需要創建發布管道並將您的代碼推送到 GIT 存儲庫。
有關詳細信息，請遵循此 Microsoft 文檔 -
https://learn.microsoft.com/en-us/azure/databricks/dev-tools/ci-cd/ci-cd-azure-devops#:~:text=The%20release%20pipeline%20deploys%20the,管道%20menu%20and%20click%20Releases 。

Answer 2

這個演示展示了如何做到這一點。 這些步驟包括：

• 測試
  • 在 Databricks 工作區更新結帳 - 例如，您可能有一個單獨的結帳以進行測試。 您可以通過Repos REST API或通過 databricks-cli（ databricks repos update命令）執行此操作
  • 使用Nutter 庫觸發測試執行
  • 向 DevOps 報告測試結果
• 發布
  • 如果測試成功，您可以將更新推送到暫存/生產環境——這可以通過 DevOps 發布管道完成
  • 您可以使用相同的 Repos REST API 或 databricks-cli 更新登台/生產中的結帳