Azure数据工厂自动化脚本

Question

我正在使用Azure数据工厂的项目中工作。 我有一个要求，但不确定如何实现。

需求：

源文件在Windows本地服务器（远程服务器）中生成。 如果计数少于源文件夹中的文件数，则我们需要检查源文件夹中的文件数。 如果计数匹配，则系统应开始处理管道。

借助Power Shell脚本，我可以实现吗？ 如果是，如何在ADF流程中提及Power Shell脚本？

如果我们使用运行手册来编写Power Shell脚本，那么在处理管道之前如何在ADF中调用它们？

Answer 1

Data Factory无法在本地执行脚本，因为这将是一个主要的安全问题。 但是，您可以编写一个脚本，该脚本每分钟/小时在本地执行一次，并使用Windows Scheduler对其进行调度 。 该脚本将在文件夹中创建一个虚拟文件（例如，“ ready.txt”）。

然后，您可以创建具有两个顺序活动和三个数据集的ADF管道：

D1-> A1-> D2 + D3-> A2

1. 第一个活动（A1）将取决于寻找（并等待）该虚拟文件的数据集（D1）。 此活动将生成一个虚拟数据集（D2）作为输出。
2. 第二个活动（A2）将取决于第二个虚拟数据集（D2）和实际数据集（D3），后者是包含要复制的文件的文件夹。

当您的本地脚本创建“ ready.txt”文件时，将触发A1，这将生成虚拟数据集D2，而后者又将触发A2，A2将把本地文件夹中的文件复制到所需的任何位置把它们。

我知道这听起来很复杂，但实际上非常简单。 看这里下看你需要的大部分JSON的“序列中运行的活动”。