Databricks Repos 分支的程序化签出

Question

我有一个集成测试，它比较 output 从 2 个不同的分支（即主分支和功能分支）运行相同的脚本。 目前，此测试从我的本地计算机开始，但我想将其迁移到 Databricks 作业，并完全从 Workflows 界面运行它。

我可以使用 notebooks 和dbutils重新创建大部分现有的集成测试（用 Python 编写），但功能分支checkout除外。 我可以从本地机器调用 Repos REST API 来执行结帐，但是（据我所知）我无法从 Databricks 云上运行的作业中进行相同的调用。 （我在尝试时遇到了凭据/身份验证问题，而且我的解决方案变得越来越老套。）

有没有办法使用纯 Python 代码签出分支； 类似dbutils.repos.checkout()的东西？ 或者，是否有从 Databricks 云上运行的作业调用 REST API 的安全方法？

Answer 1

您可以使用Repos REST API ，特别是它的更新命令。 但是在进行 CI/CD 的情况下，使用Databricks CLI的databricks repos update命令会更容易，如下所示：

databricks repos update --path <path> --branch <branch>

PS 我有在 Azure DevOps 上为 Repos + Notebooks 做 CI/CD的端到端示例，但其他系统的方法是相同的。 这是使用 Databricks CLI 进行结帐的示例。