Azure 数据块和 ADF 部署对运行作业/管道的影响

Question

对于 Azure DevOps 部署 azure databricks，如果 databricks 上有正在运行的作业（例如它是流式作业），当前正在运行的作业是否仍在运行或停止？ 它仍然会使用旧库还是新库？ 什么时候可以提取新代码？

与 ADF 部署类似，部署将如何影响正在运行的管道？

Answer 1

如果您根据要求正确配置了所有参数，如集群大小、管道计划、Azure Integration Runtime（在 ADF 中）等，管道之间就不会有任何问题和冲突。

配置 Azure DevOps 管道以运行 Databricks Notebook 时要记住的要点：

• 集群管理：在创建 DevOps 管道时，确保要运行的 Databricks Notebooks 必须有足够的集群资源来运行（RAM 和 vCore）。 如果您在不同的集群中运行每个笔记本，那么它会被排序。 但是如果多个笔记本共享同一个集群，您需要注意所有笔记本都必须获得运行作业所需的资源。

• 管道计划： Azure 管道提供了几种类型的触发器来配置管道的启动方式。

  计划触发器根据计划启动您的管道，例如每晚构建。

  基于事件的触发器启动您的管道以响应事件，例如创建拉取请求或推送到分支。

基于上述计划类型，您可以管理您的管道。

如果您使用基于事件的触发器，管道可以选择新的库，即在 DevOps Repos 中进行更改后运行管道。

配置 Azure 数据工厂管道以运行 Databricks Notebook 时要记住的要点：

• Azure DevOps 集群管理同上
• 确保为运行管道提供计算环境的 Azure Integration Runtime (IR) 具有足够的资源来管理多个并行管道运行。

如果您在配置 Azure Databricks、ADF 和 Azure DevOps 时记住其他提到的要点，我希望一切顺利。