需要從 Azure 數據工廠連接 Azure Sql db，使用 userManagedIdentity 作為身份驗證方法限制在模式級別
[英]Need to Connect Azure Sql db from Azure Data Factory,restricted at Schema Level using userManagedIdentity as Authentication Method
我從 Azure 數據工廠成功連接到我的 Azure Sql db。我已將 AAD Admin 設置為我自己，還設置了門戶中的 UserManagedIdentity。 現在，無論誰在 ADF 中使用該 UserManagedidentity，都可以訪問整個 Sql 數據庫。我需要在架構級別限制訪問 ...
如何設置Azure數據工廠時間間隔
[英]How to Set Azure Data Factory Schedule Between Intervals
是否可以在 Azure 數據工廠中設置一個時間表來每隔一段時間執行一個管道？ 例如，我想安排從周一到周五上午 9 點到凌晨 5 點之間每小時運行一次目前我在下面，但不確定如何輸入執行時間。 ...
如何使用 Integration Runtime 提高 Azure 數據工廠管道的性能
[英]How to increase performance of Azure Data Factory Pipeline with Integration Runtime
我想創造我們管道的性能。 管道當前從集成運行時運行。 我在我們的源（SQL 數據庫）上保存的表上運行單個復制活動。 表格包含將近一百萬行，大約有 15 列。 目前，將表從 Source 復制到 Sink (ADLS) 所需的時間約為 20 分鍾。 有沒有辦法增加 DIU 來提高性能？ 我目前的復印設 ...
如何將 Adf 管道、數據流、數據集導出到 Azure Synapse
[英]How to export Adf pipelines,dataflows,datasets into Azure Synapse
我有 100 個數據流、50 個管道及其相關的數據集變量等。現在我想使用 Synapse 服務，並希望我的所有管道和 ADF 的東西都進入 Synapse。 我的 Adf 配置為 git 我們可以將它們導出到一個 go 中嗎？？ ...
ADFv2 Azure 限制對發布按鈕的訪問
[英]ADFv2 Azure Restrict Access to the Publish button
[更新] 在此處使用新的 CI/CD 流程部署對 ADF 的更改。 SO開發者無需點擊publish手動push changes創建ARM模板。 因此，開發人員需要具有在 ADF 中進行開發的權限，但不需要訪問“發布”按鈕。 基於此RBAC 頁面，限制對 Publish/Publish All ...
ADF 列名驗證和數據驗證
[英]ADF Column Name Validation and Data Validation
我正在嘗試向我的 ADF 管道添加一些驗證。 有沒有辦法在 ADF 中實現以下驗證？ 驗證列 header 並返回錯誤消息。 我需要根據原始 Excel 文件檢查所需的列名列表。 例如，原始文件可能包含 A、B、C、D 列，但所需列為 A、B、E。 那么有沒有一種方法可以驗證並返回原始文件中缺少列 ...
如何處理azure數據工廠中的有符號數
[英]How to process signed numbers in azure data factory
我正在處理源中的 a.txt 文件，我有一個數據 +120.2894。 我想使用 adf 數據流活動將數據推送到 sql db。 它自動采用字符串數據類型並將 output 設為 +120.29，精確到小數點后兩位。 我已經嘗試使用強制轉換活動使用十進制 l(15,4)，但它刪除了 + 號並將 ou ...
如何在數據工廠的 email 中發送查找活動的 output 值？
[英]How to send the output values of a Lookup activity in an email in Data Factory?
我正在嘗試使用 LogicApp 在 POST 請求中發送 LookUp 活動 output 值作為正文參數的一部分，它使用三個參數：“to”、“email_body”、“subject”。 LookUp 活動依賴於一個查詢，它可能返回 2 行到 10 行。 根據Azure，活動的output應 ...
如何在Azure數據工廠中啟用SSL連接到DB2數據庫？
[英]How to connect to DB2 database with SSL enabled in Azure Data Factory?
我有一台本地機器，用於 DB2 連接到安裝了 SHIR 的 ADF，我已獲得證書 zip 文件。 如何在數據工廠中使用 SSL 證書鏈接服務 DB2 以及如何獲取鏈接服務的證書通用名稱。 在此處輸入圖像描述 https://learn.microsoft.com/en-us/azure/data- ...
ADF：使用查找和 foreach 活動來獲取和排列輸出
[英]ADF: Using look up and foreach activities to get and array ouput
我正在使用lookup活動來掃描我的行，並使用foreach活動將我的值連接到一個數組中，但沒有成功。 查找正在掃描的 csv 文件如下所示： 我的foreach看起來像這樣： 在我的foreach中，我有一個set variable活動，我知道數據類型不匹配但不知道如何解決 ...
Azure數據流動態聚合轉換中GroupBy如何添加列
[英]How to add columns in GroupBy in Aggregate transformation dynamically in Azure Data Flow
我有 200 列，其中 100 列需要在 GroupBy 中。因此手動添加 100 列非常痛苦，單擊下拉列表，選擇列。以這種方式添加列需要更多時間。 有什么辦法可以減少一次將 groupBy 中的 100 列加起來的時間。 ...
blob 中的通配符以路徑結尾 - ADF 觸發 blob 存儲事件
[英]Wildcard in blob ends with path - ADF trigger blob storage event
我有一個像這樣的 blob 結構： 我想在任何 csv 文件僅上傳到 source3/dirC 時觸發 blob 存儲事件。 問題是 adf 在這里不支持通配符路徑。 我想要這樣的東西： Blob_path_ends_with: any_dir(exclude folder1 include d ...
數據工廠復制任務 - 使用包含臨時表的存儲過程
[英]Data factory Copy Task - Using Stored Procedure containing temporary tables
在數據工廠中，我們使用復制數據任務來移動一些數據。 源是一個 SQL 存儲過程，在存儲過程中正在創建一些臨時表。 Sink 是一個自動創建的物理 SQL 表（不是臨時表）。 運行管道時，我們收到一個錯誤，抱怨臨時表無效 object。 相同的存儲過程通過 SSMS 完美執行。 做了一些挖掘后，看起 ...
Azure 如果參數化，使用二進制數據集進行復制活動的數據工廠無法復制文件夾內容
[英]Azure data factory with a copy activity using a binary dataset fails to copy folder contents if parameterized
在我的 Azure 數據工廠中，我需要從 SFTP 源復制數據，該源已將數據結構化到具有以下層次結構年 -> 月 -> 日期 -> 文件的基於日期的目錄中我創建了一個鏈接服務和一個二進制數據集，其中數據集“文件系統”指向主機，“目錄”指向包含年份目錄的文件夾。 例如：主機/exam ...
如何在 Azure 數據流中執行循環類型的邏輯
[英]How to Perform for loop type of logic in Azure Data FLow
這是我的要求： 基本上在 for 循環中有 3 件事：初始化、條件、循環所以我必須基於 for 循環邏輯為每一行生成一行，例如： 初始化： {Start_Rcvd Date} （我表中的列） 條件： DateBetweenDRO （新列） <= {WIP AGE DATE} （我表中的列） 循 ...
ADF 翻滾 Window 觸發依賴
[英]ADF Tumbling Window Trigger Dependency
我瀏覽了鏈接，但無法理解圖表試圖傳達的內容。 該圖還不夠確定。 沒有解釋。 考慮文檔中的下圖： Dependency Offset部分看起來很清楚。 Dependency Offset 中的第二張圖告訴我觸發器 A 的 10 點鍾運行應該取決於觸發器 B 的 9 點鍾運行。 Dependen ...
輸入表數組作為管道參數
[英]array of input tables as pipeline parameter
從已經解決的問題繼續： 如何在 azure 數據工廠中與參數連接/在源查詢中傳遞動態表名我已經創建了一個管道參數並傳遞了表數組以使用控制表（水印表）執行多個復制（增量）操作。 我已經成功地用單個表作為字符串類型的參數測試了管道。 但是，當我將參數從 String 更改為 Array 並傳遞 2 個表 ...
如何與 azure 數據工廠中的參數連接/在源查詢中傳遞動態表名
[英]how to concatenate with parameter in azure data factory / passing dynamic table names in source query
我已經在管道參數中創建，我想傳遞表數組來執行多個復制活動。 但在此之前，我只使用一個表作為參數進行測試。 我在表達式中創建了以下查詢（復制活動的接收器端）。 （請注意我正在從一個突觸復制到另一個突觸（從一個模式到另一個）） 我的表在模式“DW_GL”中，所以我試圖將它從上面的表達式中刪除，但它仍然 ...
錯誤記錄郵件的要求（郵件應包含所有丟失的文件詳細信息）。 在 ADF 流程中
[英]Requiremet of Error logging mail(mail should contain all the missing file details). in the ADF flow
要求很簡單，我有一個包含 4 個 txt 文件（1.txt、2.txt、3.txt、4.txt）的文件夾。 Flow 由一個名為all 或 some的字符串類型的參數控制。 如果 i select 全部在參數中，則應處理所有 4 個文件。 要求從這里開始 >> 如果文件夾中缺少任何文 ...
在Azure數據工廠創建字典object
[英]Create a dictionary object in Azure Data Factory
我正在嘗試通過轉換查找活動的 output 並運行 FOR EACH 循環來構建它，使用 object 數據類型在 Azure 數據工廠中構建字典。 append 活動僅適用於 arrays。我想知道這是否可能。 從查找 output： 我需要創建以下 object 以將其用作字典： ...