Azure 數據工廠，如何從 Scala（jar 作業）獲取輸出？

Question

我們有一個 Azure 數據工廠管道，其中一個步驟是一個 jar 作業，它應該返回后續步驟中使用的輸出。 可以使用 dbutils.notebook.exit(....) 從 notebook 獲取輸出我需要類似的功能來從 jar 的主類中檢索輸出。 謝謝！

我的管道圖片

Answer 1

實際上，據我所知，沒有直接執行 jar 作業的內置功能。但是，您可以使用 Azure Databricks 服務輕松實現它。

Azure Databricks 工作區中的兩種方式：

如果您的 jar 是可執行 jar，則只需使用 Set JAR即可設置主類和參數：

相反，您可以嘗試使用 Notebook執行 dbutils.notebook.exit(....)或其他東西。

回到 ADF，ADF 有 Databricks Activity ，您可以獲取它的輸出以用於后續步驟。任何問題，請告訴我。

---

更新：

據我所知，在 Jar 活動中沒有與dbutils.notebook.exit(....)類似的功能。到目前為止，我只是在這里提供了一種解決方法：將參數存儲到駐留在（例如）內部的 blob 存儲中的特定文件中jar 執行。然后在 jar 活動之后使用LookUp 活動來獲取下一步的參數。

---

2020 年 1 月 21 日更新

在 github 鏈接中從 MSFT 獲得了一些更新： https : //github.com/MicrosoftDocs/azure-docs/issues/46347

發送輸出是一項功能，僅筆記本支持筆記本工作流，而不支持數據塊中的 jar 或 python 執行。 這應該是一個需要數據塊的功能，只有這樣 ADF 才能支持它。

我建議您將此作為產品反饋提交到 Azure Databricks 反饋論壇。

似乎azure databricks不支持jar執行的輸出，ADF自然只支持azure databricks的功能。 好的...，您可以聯系azure databricks團隊推動相關進展。 我只是在這里分享我所有的知識。