Azure 数据工厂 -> 查找、ForEach 和复制活动

Question

我想从 azure 突触中获取一个文件，并使用 ADf 将其加载到 ADL 中。 我想读取过去 13 个月的数据并为每个月制作一个不同的文件。 我制作了一个 CSV 文件，我在其中写下了每个月的开始日期和结束日期，并对这个文件进行了查找活动。 然后使用 foreach 活动，我从复制活动中加载文件。 现在我想为每个月的数据编写一个查询。

select * from edw.factbaldly where INSERT_DATE > @activity('Lookup1').output.value.startdate and INSERT_DATE < @activity('Lookup1').output.value.EndDate

select * 来自 edw.factbaldly 其中 INSERT_DATE > @item().startdate 和 INSERT_DATE < @item().EndDate'

我使用这些查询但无法读取查找活动的数据并获取数据。 请帮我查询。 提前致谢。

Answer 1

我假设您的 Lookup1 CSV 列标题是startdate和enddate

在您的 ForEach > Settings > Items 您将拥有@activity('Lookup1').output.value

在 ForEach 块内，您的 Copy 活动源查询将如下所示：

select * from edw.factbaldly where INSERT_DATE > '@{item().startdate}' and INSERT_DATE < '@{item().enddate}'

ADF 会将@{thing}替换为字符串，以便您在查询中将日期作为带引号的字符串

也许您还想要 >= 或 <= 的符号之一？

事实上，您可能不需要维护 CSV，因为您可以使用变量和 ADF 函数 utcnow()、addToTime() 和 startOfMonth() 来查找日期

Answer 2

在查找活动中，您将获取@item().startdate 和@item().EndDate。 或者我猜你已经在 ForEach 之前的查找中设置了这些。 但是要在生成新文件时使用此详细信息，您必须使用复制活动源部分中问题的查询。

如果您不能直接在文件上使用查询，您可以将整个文件导入数据库表，然后在复制活动源中使用您的查询。

Answer 3

您可以使用这样的表达式

 @concat('select * from edw.factbaldly where INSERT_DATE> >',item().startdate,'and INSERT_DATE <',item().EndDate)

如果我在你那里，我可以添加一个设置变量活动并测试上面的表达式。 set 变量应该给我们一个语法正确的 TSQL 语句。 高温高压