使用 python 脚本在 Azure DevOps 管道上调用 Databricks API 失败，但从本地计算机在 Postman 上成功运行

Question

在 Azure Databricks API 中，我尝试使用 Azure Databricks API 将最新更改拉到 Databricks 存储库中每个文件夹中的主分支。 这就是我所指的地方：

当我使用邮递员通过向以下端点发布请求来进行调用时，它会成功拉取，如下所示：

端点：

https://<databricks-workspace>.azuredatabricks.net/api/2.0/repos/<repo-id>

这是同一请求的标头：

为了解释更多，头部是通过发送一个承载令牌、一个管理令牌和另一个包含订阅、资源组和数据块工作空间的字段来构造的，如下所示：

/subscriptions/<Azure-subscription-id>/resourceGroups/<resourcegroup-name>/providers/Microsoft.Databricks/workspaces/<databricks-workspace-name>

如上所示，当我使用邮递员在本地机器上调用它时，它运行良好。 但是，当我使用 Azure DevOps 使用相同的东西时，它会失败并出现错误：

Exception: b'{"error_code":"PERMISSION_DENIED","message":"Missing Git provider credentials. Go to User Settings > Git Integration to add your personal access token."}'

请注意，在此链接之后，我已经在 Azure DevOps 中生成了一个 PAT 令牌并将其添加到我的服务主体中，否则它对我的邮递员不起作用。 它仍然在 DevOps 管道中出现此错误，如下所示：

这条管道正在做我已经对邮递员所做的事情。 该管道正在调用一个 python 脚本，该脚本正在构建请求标头和正文，如 postman 中所示。 python代码如下，但我几乎可以肯定不是python脚本导致了问题，因为我使用相同的方法列出repos，获取特定repo，创建集群等等。 我认为这一定是一些我无法指出的管理问题。

蟒蛇脚本：

import requests
import os
import json


## Constructing the header request
DBRKS_REQ_HEADERS = {
    'Authorization': 'Bearer ' + os.environ['DBRKS_BEARER_TOKEN'],
    'X-Databricks-Azure-Workspace-Resource-Id': '/subscriptions/'+ os.environ['DBRKS_SUBSCRIPTION_ID'] +'/resourceGroups/'+ os.environ['DBRKS_RESOURCE_GROUP'] +'/providers/Microsoft.Databricks/workspaces/' + os.environ['DBRKS_WORKSPACE_NAME'],
    'X-Databricks-Azure-SP-Management-Token': os.environ['DBRKS_MANAGEMENT_TOKEN']}


TRIGGERING_BRANCH = "\"" + os.environ["TRIGGERING_BRANCH"] + "\""
print("TRIGGERING_BRANCH path is {}".format(TRIGGERING_BRANCH))


## Constructing the body request
body_json = '''
    {
    "branch": "main"
    }
'''

## Checking the request body format is correct
print("Request body in json format:")
print(body_json)

## The prints are only for code tracing
DBRKS_REPOS_LIST_JSON = os.environ["DBRKS_REPOS_LIST"]
print("Type of DBRKS_REPOS_LIST_JSON is {}".format(type(DBRKS_REPOS_LIST_JSON)))

## This section extracts repo Ids from the variable containing repo Ids and branches to later construct url endpoint
str_obj = DBRKS_REPOS_LIST_JSON.replace('[','').replace(']','').replace('(','').replace(')','').replace('\'','').replace(' ','').split(',')
output = {}
str_to_list = [str_obj[i:i+2] for i in range(0, len(str_obj), 2)]
print("str_to_list")
print(str_to_list)

for e in str_to_list:
    output[e[0]] = e[1]

print("output")
print(output)

repo_ids_for_main_branch = []
for key, value in output.items():
    if value == 'main':
        repo_ids_for_main_branch.append(key)

print("repo_ids_for_main_branch")
print(repo_ids_for_main_branch)

## This is the main part which is making the API call like postman:
for repo_id in repo_ids_for_main_branch:
    dbrks_pull_repo_url = "https://"+os.environ['DBRKS_INSTANCE']+".azuredatabricks.net/api/2.0/repos/"+str(repo_id)
    print("endpoint url is {}".format(dbrks_pull_repo_url))
    response = requests.patch(dbrks_pull_repo_url, headers=DBRKS_REQ_HEADERS, data=body_json) 

    if response.status_code == 200:
        print("Branch changed or pulled successfully!")
        print(response.status_code)
        print(response.content)
        print('####################')
    else:
        print("Couldn't pull or change branch!")
        raise Exception(response.content)

代码中的所有 os 变量都从 Azure DevOps 管道传递到脚本，我通过打印检查了它们的值，它们都是正确的。

我想知道根本原因问题是什么以及如何解决它。

Answer 1

有一个小操作可以实施。 主要问题是与 GIT 集成。 这可以通过以下步骤解决。

在 Databricks Repos 中启用对任意文件的支持

这个操作是需要实现的。 按照链接了解一系列步骤。