无法从 python 文件运行 azure 数据块

Question

我想从 python 文件运行 azure databricks notebook 我有 client_id、secret 和 token id。 我试图通过创建一个数据块客户端来运行它，但似乎没有 package 可以运行数据块笔记本。 TIA 的任何建议

答案应该像我们运行数据工厂一样运行数据砖笔记本，就像这段代码一样

adf_client = DataFactoryManagementClient(credentials, subscription_id)
run_response = adf_client.pipelines.create_run(rg_name, df_name, df_pipeline_name, parameters=...............

pipeline_run = adf_client.pipeline_runs.get(rg_name, df_name, run_response.run_id)
status = pipeline_run.status
    
while status == 'Queued' or status == 'InProgress':
    time.sleep(5)
    status = adf_client.pipeline_runs.get(rg_name, df_name, run_response.run_id).status

Answer 1

您可以使用数据块 rest API 来触发数据块作业。 您必须首先使用集群和笔记本配置作业。

您可以查看演示此内容的博客。 该博客讨论了通过 postman 调用 API。您只需将其替换为 python 代码即可。

可以在此处找到触发作业的官方数据块 rest API 文档。 Databricks 文档还展示了如何使用 python 代码调用 API。

您可以使用数据块令牌或 AAD 不记名令牌进行授权。