如何從 ADF 復制數據活動中獲取給定列的最大值

Question

我有一個本地 SQL 服務器作為源和 ADLS Gen2 作為接收器的復制數據活動。 有一個控制表來拾取 tableName、watermarkDateColumn 和 watermarkDatetime 從源數據庫中提取增量數據。

在接收器中提取/加載數據后，我想在我的數據集中獲取 watermarkDateColumn 的最大值。 可以從@activity('copyActivity1').output嗎？

我不允許使用一個額外的查找活動來查詢源表以獲取管道中的 max(watermarkDateColumn)。

Answer 1

復制活動只能用於數據傳輸，不能用於任何其他聚合功能。 所以 @activity('copyActivity1').output 無濟於事。 既然你說你不能使用查找活動，恐怕你的要求到目前為止不可用。

如果你不想使用額外的活動，我建議你使用數據流活動，它更靈活。數據流活動中有內置的聚合功能。