Databricks Jobs API 2.1 與 2.0 返回的作業數據之間有什么區別嗎？

Question

我看到的主要區別是 2.1需要最大頁面大小為 25 的分頁結果，而 2.0 不支持分頁並且會在一次調用中獲得所有結果。 從 Jobs Get 和 List api 返回的“Job”對象的結構或內容有什么不同，例如 /api/2.0/jobs/list？ 我很難說，因為我找不到 2.0 規范，文檔只是給出了示例。

• 2.1 打開API規范
• 2.1 文檔（在發布時是“最新的”，但您不能通過 2.1 版具體參考）
• 2.0 文檔

Answer 1

• 從作業 API 2.1 和 2.0 的GET方法返回的響應對於每個端點都是不同的。 以下是從每個端點返回的示例響應。

工作/列表：

使用作業 2.0 時：

使用作業 2.1 時：

• 這里的區別在於 Jobs 2.1 中缺少集群詳細信息和筆記本路徑。

工作/得到：

• 使用工作 2.0：

• 使用作業 2.1

• 有關任務的信息存在於 Jobs API 2.1 中，但不存在於 2.0 中。

工作/運行/獲取：

• 使用此端點沒有太多顯着差異。

作業/運行/獲取輸出：

• 使用 Jobs 2.0 時端點已返回響應 API。但使用 Jobs 2.1 時，它返回以下錯誤：

因此， GET方法的主要區別對於jobs/list端點來說是顯而易見的。 作業 2.1 端點中缺少集群詳細信息和筆記本詳細信息。 因此，根據需求選擇API。

Answer 2

2.0 和 2.1 API 之間幾乎沒有重大變化：

• 最大的變化是支持具有多項任務的作業：
  • 現在，您需要在tasks數組中指定它們，而不是頂級 object 中的單個任務
  • 您可以指定任務之間的依賴關系
  • 您可以在多個任務之間重用相同的作業集群——這將使您的任務啟動更快
  • 2.1 中支持的任務類型更多：dbt、sql、...
• 同樣的，get run output 是支持多任務的，但是比如top-level job run 不能獲取output，而需要單獨任務獲取
• list操作現在支持分頁 output，這允許克服以前每個工作區 3000 個作業的限制。 它現在還支持按名稱列出工作
• 有一個新的 API 要求修復/重新運行失敗的任務而不是整個工作。