如何使用 ci/cd 管道将 bitbucket 存储库自动化到 databricks repos

Question

有人可以帮助解决如何使 ci/cd 管道自动化以更新和创建来自 bitbucket 存储库的数据块存储库中的新文件..

Answer 1

如果您想将更改从 BitBucket 存储库同步到 Databricks Repos，那么您有以下可能性：

• 使用 databricks -cli package的databricks repos update命令，如下所示：

databricks repos update --path /Repos/user/repository --branch <branch_name>

• 使用Repos API 的 Update 命令，但它太低级别，因为它不适用于路径，并且您需要知道可以通过Workspace API获取的 Repository ID。 所以它是几个命令而不是一个：

curl -s -n -X GET -o /tmp/staging-repo-info.json "$DATABRICKS_HOST/api/2.0/workspace/get-status" -H "Authorization: Bearer $DATABRICKS_TOKEN" -d '{"path":"/Repos/Staging/databricks-nutter-projects-demo"}'
export STAGING_REPOS_ID=$(cat /tmp/staging-repo-info.json|grep '"object_type":"REPO"'|sed -e 's|^.*"object_id":\([0-9]*\).*$|\1|')
curl -s -n -X PATCH -o "/tmp/$(Build.SourceBranchName)-out.json" "$DATABRICKS_HOST/api/2.0/repos/$STAGING_REPOS_ID" \
    -H "Authorization: Bearer $DATABRICKS_TOKEN" -d "{\"branch\": \"$(Build.SourceBranchName)\"}"

PS 您可以在此存储库中找到带有 Repos 和 Azure DevOps 的端到端 CI/CD 演示。 虽然不是BitBucket，但是流水线的结构还是一样的。