Azure Databricks API，如何通过 API 将集群附加到上传的笔记本

Question

我正在使用 python 3.6 运行以下脚本以将本地文件上传到特定文件夹中的 Azure databricks notebooks。 我已遵循此链接中的文档。 使用下面的脚本，我已经能够上传笔记本。 但是，我无法弄清楚如何在通过 API 上传后将集群附加到该笔记本上。我在文档中找不到它。 完全有可能吗？ 如果是，如何？

我使用的python脚本如下：

import requests
import os
from os.path import isfile, join
from os import listdir
import base64


dbrks_create_dir_url =  "https://"+os.environ['DBRKS_INSTANCE']+".azuredatabricks.net/api/2.0/workspace/mkdirs"
dbrks_import_rest_url = "https://"+os.environ['DBRKS_INSTANCE']+".azuredatabricks.net/api/2.0/workspace/import"


DBRKS_REQ_HEADERS = {
    'Authorization': 'Bearer ' + os.environ['DBRKS_BEARER_TOKEN'],
    'X-Databricks-Azure-Workspace-Resource-Id': '/subscriptions/'+ os.environ['DBRKS_SUBSCRIPTION_ID'] +'/resourceGroups/'+ os.environ['DBRKS_RESOURCE_GROUP'] +'/providers/Microsoft.Databricks/workspaces/' + os.environ['DBRKS_WORKSPACE_NAME'],
    'X-Databricks-Azure-SP-Management-Token': os.environ['DBRKS_MANAGEMENT_TOKEN']}

## This is the address of the notebook to upload.
notebooks = os.environ['DefaultWorkingDirectory'] + "/notebooks/"

    
path = notebooks
onlyfiles = [f for f in listdir(path) if isfile(join(path, f))]
for file in onlyfiles:
  fileLocation = path +"/"+ file 

  data = open(fileLocation, "rb").read()
  encoded = base64.b64encode(data)
  files = {"content": (fileLocation,encoded)}

  if ".py" in file:
    fileName = file.split(".")[0]
    fileName = fileName.replace(".py", "")
    print(fileName)
    response = requests.post(dbrks_import_rest_url,headers=DBRKS_REQ_HEADERS, files=files, data={'path': '/Users/myuser/' + fileName, 'language':'PYTHON','format':'SOURCE', 'overwrite': 'true', 'content': encoded})


  if response.status_code == 200:
      print(response.json)
  else:
      raise Exception(response.content)  

所有操作系统环境变量都是从我的 Azure DevOps 管道发送的。 但是，您不需要从管道执行脚本。 只要您有一个可以访问数据块工作区的服务主体，就可以从本地计算机执行它。 要运行 python 脚本，您可以将这些环境变量替换为您自己的凭据。

解释脚本中的变量：

• os.environ['DBRKS_INSTANCE']：数据块实例的名称
• os.environ['DBRKS_BEARER_TOKEN']：不记名令牌。 您需要它来验证您的服务主体或您的用户到数据块。 稍后我解释了如何获得它。
• os.environ['DBRKS_MANAGEMENT_TOKEN']：如果您使用的服务原则未添加为数据块工作区用户或管理员，则您需要此令牌。 稍后我解释了如何获得它。
• os.environ['DBRKS_SUBSCRIPTION_ID']：databricks 工作空间所在的 Azure 订阅 ID。
• os.environ['DBRKS_RESOURCE_GROUP']：databricks 工作空间的 Azure 资源组的名称。
• os.environ['DBRKS_WORKSPACE_NAME']：Azure 数据块工作区的名称。
• os.environ["DBRKS_CLUSTER_ID"]：将在数据块中执行作业的集群 ID。
• os.environ['DefaultWorkingDirectory']：只需将其替换为本地计算机上的地址即可获取示例笔记本文件。 笔记本文件只是一个扩展名为 .py 的文件。 您可以在此文件中添加注释或仅打印 ("Hello World.")。

使上述脚本运行的最后一点：要获取 DBRKS_BEARER_TOKEN 和 DBRKS_MANAGEMENT_TOKEN 的上述两个变量，您可以运行以下脚本并手动将 os.environ['DBRKS_BEARER_TOKEN'] 和 os.environ['DBRKS_MANAGEMENT_TOKEN'] 替换为打印出来的脚本执行后的值：

import requests
import json
import os


TOKEN_BASE_URL = 'https://login.microsoftonline.com/' + os.environ['SVCDirectoryID'] + '/oauth2/token'
TOKEN_REQ_HEADERS = {'Content-Type': 'application/x-www-form-urlencoded'}
TOKEN_REQ_BODY = {
       'grant_type': 'client_credentials',
       'client_id': os.environ['SVCApplicationID'],
       'client_secret': os.environ['SVCSecretKey']}



def dbrks_management_token():
        TOKEN_REQ_BODY['resource'] = 'https://management.core.windows.net/'
        response = requests.get(TOKEN_BASE_URL, headers=TOKEN_REQ_HEADERS, data=TOKEN_REQ_BODY)
        if response.status_code == 200:
            print(response.status_code)
        else:
            raise Exception(response.text)
        return response.json()['access_token']


def dbrks_bearer_token():
        TOKEN_REQ_BODY['resource'] = '2ff814a6-3304-4ab8-85cb-cd0e6f879c1d'
        response = requests.get(TOKEN_BASE_URL, headers=TOKEN_REQ_HEADERS, data=TOKEN_REQ_BODY)
        if response.status_code == 200:
            print(response.status_code)
        else:
            raise Exception(response.text)
        return response.json()['access_token']

DBRKS_BEARER_TOKEN = dbrks_bearer_token()
DBRKS_MANAGEMENT_TOKEN = dbrks_management_token()

os.environ['DBRKS_BEARER_TOKEN'] = DBRKS_BEARER_TOKEN 
os.environ['DBRKS_MANAGEMENT_TOKEN'] = DBRKS_MANAGEMENT_TOKEN 

print("DBRKS_BEARER_TOKEN",os.environ['DBRKS_BEARER_TOKEN'])
print("DBRKS_MANAGEMENT_TOKEN",os.environ['DBRKS_MANAGEMENT_TOKEN'])

• SVCDirectoryID 是 Azure Active Directory (AAD) 服务主体租户 ID
• SVCApplicationID 是 AAD 服务主体客户端 ID 的值。
• SVCSecretKey 是 AAD 服务主体密钥。

感谢您的宝贵意见。

Answer 1

谢谢用户 Alex Ott - Stack Overflow 。 将您的建议作为答案发布，以帮助其他社区成员。

您可以为 Databricks 笔记本使用Nutter 框架，使用 Repos 而不是上传笔记本。

您的 Databricks 工作区需要启用回购功能。 如果已启用，您应该会在导航面板中看到“ Repos ”图标：

• 将存储库分叉到您的环境中 - Github 或 Azure DevOps（按照 Databricks 文档使用它）
• 在Repos中，单击“ Create Repo ”并将其链接到您已分叉的 Git 存储库

参考资料： GitHub - microsoft/nutter：Databricks 笔记本的测试框架和GitHub - alexott/databricks-nutter-repos-demo：在 CI/CD 管道中使用 Nutter 测试 Databricks 笔记本的演示