無法從 python 文件運行 azure 數據塊

Question

我想從 python 文件運行 azure databricks notebook 我有 client_id、secret 和 token id。 我試圖通過創建一個數據塊客戶端來運行它，但似乎沒有 package 可以運行數據塊筆記本。 TIA 的任何建議

答案應該像我們運行數據工廠一樣運行數據磚筆記本，就像這段代碼一樣

adf_client = DataFactoryManagementClient(credentials, subscription_id)
run_response = adf_client.pipelines.create_run(rg_name, df_name, df_pipeline_name, parameters=...............

pipeline_run = adf_client.pipeline_runs.get(rg_name, df_name, run_response.run_id)
status = pipeline_run.status
    
while status == 'Queued' or status == 'InProgress':
    time.sleep(5)
    status = adf_client.pipeline_runs.get(rg_name, df_name, run_response.run_id).status

Answer 1

您可以使用數據塊 rest API 來觸發數據塊作業。 您必須首先使用集群和筆記本配置作業。

您可以查看演示此內容的博客。 該博客討論了通過 postman 調用 API。您只需將其替換為 python 代碼即可。

可以在此處找到觸發作業的官方數據塊 rest API 文檔。 Databricks 文檔還展示了如何使用 python 代碼調用 API。

您可以使用數據塊令牌或 AAD 不記名令牌進行授權。