在 Azure 數據工廠中編排管道

Question

我需要 ADF（非 Devops）編排方面的幫助。 我正在提供帶有 ADF 活動的流程，這些活動用數字表示

SAP表--->原始區域---->准備區域----->信任區域------->sFTP

        1              2                 3                   4

Kafka 攝取（由 ADF 運行）

Databrick jar（由 ADF 運行）

Databrick jar（由 ADF 運行）

ADF 復印活動

需要完成以下任務

在受信任區域中生成文件后，同步過程會將文件復制到 sFTP 位置。

要將文件復制到 sFTP，它將獲取 all.ctl 文件（觸發/控制文件）並與 JOB_CONTROL 表中標記為已處理的內容進行比較。 復制之前未處理/復制的新文件。

復制程序應輪詢 .ctl 文件並執行以下步驟

一個。 復制與 ctl 文件相同的 csv 文件。

灣。 復制ctl文件

c。 使用文件已成功處理的文件類型在 JOB_CONTROL 中插入/更新記錄。 如果成功，則不會考慮下次運行該文件。

d。 如果發生錯誤，應使用相應的狀態標志進行標記，以便下次運行時也考慮相同的文件

請幫助我實現這一目標。

問候， SK

Answer 1

這是我對這個問題的理解，您正在記錄在表中復制的文件，並且打算啟動失敗文件的副本。 我認為您可以使用查找活動來讀取失敗的文件，然后將其傳遞給 foreach(FE) 循環。 在 FE 循環中，您可以添加復制活動（您必須對數據集進行參數化）。 高溫高壓