在 DataBricks DBFS 文件上實施 DevOps

Question

我正在嘗試在 Azure 數據工廠和 Azure Databricks 上實施 DevOps。

我已經完成了 ADF DevOps 和 Databricks 筆記本文件的 devops 實現。

部署后，似乎 ADF 管道存在一些問題，這些管道正在獲取存儲在 dbfs 位置的 jar 文件。

管道之一如下所示。 jar 文件的路徑是dbfs:/FileStore/jars/xxx............xxx1_0_SNAPSHOT-c073a.jar將 ADF 管道部署到 PROD 環境后，它指向 PROD 數據塊例如，同名的 jar 文件將不可用。 這導致管道在 PROD 中失敗。

如何從 DEV dbfs 位置獲取 jars 並將其部署到具有相同名稱的 PROD dbfs 位置以使 ADF 管道運行？

下面給出的是我現在遵循的實現 DevOps 的方法。

1. 我創建了一個構建管道，它指向 git 存儲庫並通過執行 pom.xml 文件構建 jar 文件
2. 創建了一個發布管道，它將 jar 文件從構建工件復制到FileStore/jars/
3. 現在 ADF 管道將指向FileStore/jars/可用的FileStore/jars/

有沒有其他方法可以解決這個問題，或者這是正確的方法嗎？

Answer 1

您現在如何部署 Azure Databricks 和 JAR 文件？
對於 Databricks 部署，您可以使用azure.databricks.cicd.tools
對於 ADF 部署，您可以使用以下工具之一： ADFTools
抱歉，我的回答很簡短，但我希望它能引導您朝着正確的方向前進。