簡體   English   中英

在多個文件中管理U-SQL腳本並將其作為單個作業運行

[英]Managing U-SQL scripts in multiple files and run it as a single job

我們編寫了一個很大的U-SQL腳本,其中包含相互依賴的幾個代碼單元。 它可以作為單個U-SQL作業運行。 順便說一句,我們正在將這項工作作為Azure數據工廠活動運行。

我們希望將此腳本分為多個U-SQL腳本,每個腳本都包含一個單元,以便進行更好的維護和測試。 這樣,我們將能夠對腳本的各個單元進行單元測試。 但是,如果這樣做,我們將面臨另一個問題。 對於多個腳本,在部署數據工廠管道之前,我們必須將所有這些腳本合並為一個腳本。

有沒有一種方法可以管理多個文件中的U-SQL腳本並將其作為單個作業提交到Azure數據工廠中?

此時,腳本必須是一個獨立的整體。 您可以將腳本的一部分分為過程和表值函數,以便在U-SQL目錄中更輕松地重用和維護以及共享。 然后,您要提交的腳本將構成這些工件。

如果您可以詳細說明如何在文件級別拆分腳本,請告訴我。 我看到的一些問題是,您將需要定義文件的順序,以便以正確的順序進行名稱解析,並且提取將在輸出之前進行:)。

您可以將您的任務拆分為多個usql存儲的proc或TVF,然后創建一個主存儲的proc以按照所需的順序調用所有proc。 例如:Proc1-具有插入客戶記錄的邏輯Proc2-添加合並客戶TVF1的所有訂單的列-傳遞客戶ID會返回有關客戶的一些詳細信息Proc3-使用這些細節並將其輸出到MasterProc文件中-呼叫Proc1,Proc2,TVF1和Proc3

謝謝安吉

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM