Azure 数据工厂，如何从 Scala（jar 作业）获取输出？

Question

我们有一个 Azure 数据工厂管道，其中一个步骤是一个 jar 作业，它应该返回后续步骤中使用的输出。 可以使用 dbutils.notebook.exit(....) 从 notebook 获取输出我需要类似的功能来从 jar 的主类中检索输出。 谢谢！

我的管道图片

Answer 1

实际上，据我所知，没有直接执行 jar 作业的内置功能。但是，您可以使用 Azure Databricks 服务轻松实现它。

Azure Databricks 工作区中的两种方式：

如果您的 jar 是可执行 jar，则只需使用 Set JAR即可设置主类和参数：

相反，您可以尝试使用 Notebook执行 dbutils.notebook.exit(....)或其他东西。

回到 ADF，ADF 有 Databricks Activity ，您可以获取它的输出以用于后续步骤。任何问题，请告诉我。

---

更新：

据我所知，在 Jar 活动中没有与dbutils.notebook.exit(....)类似的功能。到目前为止，我只是在这里提供了一种解决方法：将参数存储到驻留在（例如）内部的 blob 存储中的特定文件中jar 执行。然后在 jar 活动之后使用LookUp 活动来获取下一步的参数。

---

2020 年 1 月 21 日更新

在 github 链接中从 MSFT 获得了一些更新： https : //github.com/MicrosoftDocs/azure-docs/issues/46347

发送输出是一项功能，仅笔记本支持笔记本工作流，而不支持数据块中的 jar 或 python 执行。 这应该是一个需要数据块的功能，只有这样 ADF 才能支持它。

我建议您将此作为产品反馈提交到 Azure Databricks 反馈论坛。

似乎azure databricks不支持jar执行的输出，ADF自然只支持azure databricks的功能。 好的...，您可以联系azure databricks团队推动相关进展。 我只是在这里分享我所有的知识。