如何使用 Databricks Activity 在 ADF 上实施 DevOps

Question

我正在尝试在 ADF 上实施 DevOps，并且成功地使用了具有从 ADLS 位置和 SQL 获取数据的活动的管道。

但现在我有一个管道，其中一个活动是从 dbfs 位置运行一个 jar 文件，如下所示。

此管道将运行 jar 文件，该文件位于 dbfs 位置并继续。

集群的连接参数如下所示。

在将 ARM 模板从 dev ADF 部署到具有 UAT 数据块实例的 UAT 实例时，我无法覆盖arm_template_parameter.json文件中的任何集群连接详细信息。

1. ARM部署时UAT/PROD环境如何配置workspace URL和clusterID？ arm_template_parameter.json文件中没有任何集群详细信息的条目。

2. 如第一张图片所示，如果有一个活动从 DEV 实例 dbfs loaction 中选择 jar 文件，系统生成的文件名为 jar，当此管道的 ARM 模板部署在其他环境中时，它会失败吗？ 如果是这样如何在 DEV/PROD databricks dbfs 位置部署相同的 jar 文件？

任何线索表示赞赏！

Answer 1

您在这里要做的是修改现有的自定义参数化模板以满足您的需要。 该模板控制发布工厂时生成哪些 ARM 模板参数。 这可以在管理中心的参数化模板选项卡中完成。

默认情况下，工作区名称和 URL 应该已经在 ARM 模板中生成。 要将现有集群 ID 作为其中的一部分，请将existingClusterId （链接服务中的 JSON 字段名称）添加到Microsoft.DataFactory/factories/linkedServices下的模板中。

虽然我不喜欢在这个论坛上分享文档，但我们实际上在https://learn.microsoft.com/azure/data-factory/continuous-integration-deployment#example-parameterizing-an-existing演示了这个用例-azure-databricks-interactive-cluster-id

Answer 2

根据我的经验，目前这不是很好/直观地实现。 我个人发现实现此目的的最佳方法是参数化您的链接服务，然后使用对给定环境保存正确值的 Key Vault 的引用或操作 parameters.json 文件（现在将保存计划参数) 在 DevOps 管道中使用文件转换任务。

两者都不是很优雅，理想情况下，您可以使用参数表达式中的某些语法来引用 Key Vault 机密，但遗憾的是我们还没有做到这一点。