如何在 Azure DataBricks 中獲取 runID 或 processid？

Question

我一直在嘗試在 DataBricks 中獲取 RUNID 或進程 ID。 我所說的 RUNID 或進程 id 的意思是，每次筆記本運行時生成一個唯一的 ID。 好吧，我嘗試了幾種方法，但它們提供的是 session-id 而不是 Run ID。 這些是：

dbutils.notebook.entry_point.getDbutils().notebook().getContext().tags().apply('sessionId')

我試圖調用 bash env

%sh
ps -fe

下面的代碼返回空值：

%scala
dbutils.notebook.getContext.rootRunId

所以你能幫我解決這個問題嗎？

謝謝，

Answer 1

注意：只有使用階段中指定的作業 ID 顯示由 Databricks 執行程序啟動的作業。 作業的所有實例的作業 ID 都相同。

您可以在 Data Collector 日志中找到特定實例的運行 ID。

Databricks 執行器還將作業的運行 ID 寫入事件記錄。 要保留所有運行 ID 的記錄，請為階段啟用事件生成。

有不同的方法可以獲取任何給定作業的 RunId：

Azure Databricks 門戶（用戶界面）：通過單擊“作業”選項卡，您可以查看您創建的所有作業。

選擇任何作業以獲取每次運行的詳細 RunId。

Azure 門戶（用戶界面）使用 Kusto 查詢語言：如果已配置診斷日志傳遞，則可以使用 KQL 查詢來獲取 JobID 和 RunID：

Databricks REST API：您可以使用以下 REST API 命令來獲取作業和運行的列表。

curl "https://centralus.azuredatabricks.net/api/2.0/jobs/runs/list" -X GET -H "Authorization: Bearer dapia08sjflksjs9jfra6a34a"

希望這可以幫助。