合并数据集导致Azure数据工厂管道

Question

我正在从Azure存储中读取JSON格式的Blob。 然后，我使用该JSON中的值之一来查询数据库以获取更多信息。 我需要做的是从Blob中获取JSON，将数据库中的字段添加到其中，然后将合并的JSON写入另一个Azure存储中。 但是，我无法弄清楚如何合并这两个信息。

我在管道的复制活动中尝试了自定义映射。 我已经尝试过参数化数据集等。似乎什么都无法提供我想要的结果。

有没有一种方法可以使用本机活动和参数来完成此操作（即，不是通过编写简单的实用程序并将其作为自定义活动执行）？

Answer 1

为此，我建议创建一个自定义U-SQL作业以执行您想要的操作。 因此，首先查找所需的两个数据。 在U-SQL作业中执行该作业，然后将结果复制到Azure存储。 请参见以下示例以了解您的管道：

如果您不熟悉U-SQL，这可以帮助您：

• https://saveenr.gitbooks.io/usql-tutorial/content/

这也将帮助您在工作中与Json合作：

• https://www.taygan.co/blog/2018/01/09/azure-data-lake-series-working-with-json-part-2

• https://www.taygan.co/blog/2018/03/02/azure-data-lake-series-working-with-json-part-3