如何在 Azure 数据工厂中为雪花连接执行下推优化

Question

最近微软推出了 ADF 中数据流的雪花连接。 有什么方法可以打开 ADF 中的下推优化，以便如果我的源和目标只是雪花，而不是从雪花环境中提取数据，它应该触发雪花中的查询来完成任务。 就像普通的 ELT 过程而不是 ETL。

如果您需要更多说明，请告诉我。

Answer 1

据我了解，这里的目的是从 ADF 对雪花数据发出查询，以便可能清除数据（或类似的东西）。 我看到 Lookup 活动也支持雪花，这可能对你有帮助。 我对 SF 的了解有限，但我知道您可以从查找活动中调用 proc/query，这应该会有所帮助。

https://docs.microsoft.com/en-us/azure/data-factory/control-flow-lookup-activity

“查找活动读取并返回配置文件或表的内容。它还返回执行查询或存储过程的结果。如果是单例值，查找活动的输出可用于后续复制或转换活动。”如果输出是属性数组，则可以在 ForEach 活动中使用它。”