Azure Data Factory中的参数化数据集

Question

我想知道是否有人在Azure Data Factory中动态调用数据集的经验。 我们的情况是，我们动态地将所有表从IaaS（Azure VM上的内部部署SQL Server）安装到数据湖。 我们希望有一个管道可以将服务器名称，数据库名称，用户名和密码传递给管道的活动。 然后，管道将扫描他们被告知从参数中读取的任何来源。 源系统目前位于我们的企业协议中的单独订阅和域中。

我们已经研究了在通用SQL Server数据集上使用AutoResolveIntegrationRuntime，但是因为它是Azure并且VM上的运行时是自托管的，所以它无法解决并且我们得到“无法连接”错误。 所以，

i）如果他们在同一个订阅和域中，我不知道这个问题是否会消失？

这留下了是否有人可以协助：

ii）获取动态运行时以解决它应该使用哪个SQL Server运行时的方法（为了弹性目的，我们每个VM都有一个，但它们都可以看到彼此的实例）。 我们不希望对特定VM上的链接服务进行参数化，因为它会依赖于该单个VM上的其他VM。

iii）能够参数化数据集以调用运行时（在UI中看起来不可能）。

iv）能够使用管道活动参数化源和接收连接来调用数据集参数。

Answer 1

通过使用参数，服务器，数据库，tableNames可以是动态的。 这里的关键问题是ADF中的所有引用都不能参数化，例如数据集中的链接服务引用，链接服务中的integrationRuntime引用。 如果您没有太多自主设备的IntegrationRuntime，也许您可​​以尝试为不同的网络设置不同的管道？