[英]Problems with rule-based mapping in Azure Dataflow
我在 Azure Blob 中有多個 XML。 我想提取某些數據點並將它們分類為 Azure SQL db。 為此,我使用數據流。 某些元素的名稱有時會更改[random name] ,所以我想設置一個基於規則的映射,每次都獲取正確的值。 我想檢索IMPORTANT INFORMATION ,它總是 ...
[英]Problems with rule-based mapping in Azure Dataflow
我在 Azure Blob 中有多個 XML。 我想提取某些數據點並將它們分類為 Azure SQL db。 為此,我使用數據流。 某些元素的名稱有時會更改[random name] ,所以我想設置一個基於規則的映射,每次都獲取正確的值。 我想檢索IMPORTANT INFORMATION ,它總是 ...
[英]How to map Data Flow parameters to Sink SQL Table
我需要將一個或多個數據流參數存儲/映射到我的接收器(Azure SQL 表)。 我可以從 REST Api 獲取其他數據,並且能夠將這些數據 map 到我的 Sink 列(見下文)。 我還需要生成一些 UUID 作為關鍵字段並將它們添加到同一個表中。 我希望我的 EmployeeId 列包含我的數據 ...
[英]How to get modified date as column in table while ingesting all files from year/month/date directories of storage account?
我在 ADLS 帳戶中有一些 json 文件。 這些文件以多個年/月/日目錄結構攝取。 我想使用 azure 數據流將所有文件從 ADLS 復制到 Azure SQL DB。 我能夠使用數據流提取數據,但我想在三個單獨的列中包含文件路徑、文件提取日期和文件名,但我不知道如何獲取這些值。 請注意,每 ...
[英]Azure Data Factory DataFlow Error: Key partitioning does not allow computed columns
我們有一個適用於許多表的通用數據流,在運行時檢測模式。 我們正在嘗試為增量的攝取或接收器部分添加一個分區列。 我們收到錯誤:Azure 數據工廠 DataFlow 錯誤:鍵分區不允許計算列作業失敗,原因是:源“攝取”(第 7 行/第 0 行):鍵分區不允許計算列我們可以將分區列作為參數傳遞給通 ...
[英]How do I add a row to a dataset in ADF dataflows
ADF 新手,需要一些幫助,我有一個 2 列數據集,我想向該數據集添加一個額外的行。 我有列:“CHANNEL”和“CHANNEL_ID”,其值如下Source Data set並想添加字段:“0”和“blank”到這些列以產生低於Desired outcome的結果。 在我的數據流中是否可以進行 ...
[英]How to truncate the data to first 3 letter in data flow?
如果 unit=code,我想截斷數據。 輸入: 國家、單位印度,代碼孟加拉國,錢中國, 代碼 Output: 國家、單位工業代碼孟加拉國,錢志、碼我試過什么? 我在數據流中使用了 case 表達式,但無法將數據截斷為 3 個字母的代碼 ...
[英]ADF Data Flow Remove empty JSON objects and arrays when building JSON files
我在 Azure 數據工廠中使用數據流將 CSV 文件的行轉換為標准布局的 JSON 文檔。 當沒有數據要填充時,我不知道如何擺脫空的 JSON 對象和 arrays。 例如,如果我有如下所示的 CSV: 我需要把它變成這樣: 我正在使用派生列來構建子列和 arrays。我已經能夠生成上面的 JS ...
[英]Split CSV file in Azure Data Factory based on additional headers in file
我目前收到 csv 個文件,格式如下: 每個 header 的行數可以變化,標題可以包含任何單詞。 預期結果應該是以下之一:選項 1:將標題保存到 1 個文件中的附加列文件:abc/abc/complete_output 選項 2:根據 header 創建不同的文件:File1:abc/abc/He ...
[英]How to add columns in GroupBy in Aggregate transformation dynamically in Azure Data Flow
我有 200 列,其中 100 列需要在 GroupBy 中。因此手動添加 100 列非常痛苦,單擊下拉列表,選擇列。以這種方式添加列需要更多時間。 有什么辦法可以減少一次將 groupBy 中的 100 列加起來的時間。 ...
[英]Identify partial text in the column and create new column in Azure Data Flow?
我的數據中有一個名為“類型”的下方文本列在此處輸入圖像描述我想查找列是否有年度或每月並創建名為“季節”的新列。 季節列應該有年度、每月或無預計 Output 在此處輸入圖像描述我正在使用派生列,但不確定如何提取列中的部分文本。 誰能建議如何做到這一點? ...
[英]Azure Data Factory REST call shows all datetime values as null
我有一個 ADF 數據流,它使用類型為 rest 的預定義數據集作為源。 從發出 get 請求的那一刻起,ADF 將所有日期時間值顯示為 null。諸如Azure 數據工廠數據流靜默 NULLing 日期列之類的問題表明這是 adf 如何轉換值的問題,我應該攔截該值在那之前應用我自己的鑄造邏輯。 ...
[英]How to Perform for loop type of logic in Azure Data FLow
這是我的要求: 基本上在 for 循環中有 3 件事:初始化、條件、循環所以我必須基於 for 循環邏輯為每一行生成一行,例如: 初始化: {Start_Rcvd Date} (我表中的列) 條件: DateBetweenDRO (新列) <= {WIP AGE DATE} (我表中的列) 循 ...
[英]Azure Data Flows isolate-find substrings form text field
我試圖從包含文本(字符串)的鑲木地板文件的特定列中分離出幾個子字符串。 子字符串都在一個數組中,我只想保留那些包含一個或多個這些子字符串的行 - 單詞,同時我保留一個新列,其中包含在文本中找到的子字符串。 我目前使用了以下轉換: 來源:這是我使用的鑲木地板文件派生列:我在其中創建一個新列(單詞),其 ...
[英]How to flatten a nested JSON array in Azure Data Factory and output the original JSON object as string?
我的輸入(簡化)來自許多結構如下的 JSON 文件:{ Type : "Root", Id: "R1", Nested : [ { Type : "NestedType1", Id: "N1", SharedAttribute: 1 }, { Type : "Neste ...
[英]How to use timestamp type parameters set in pipeline with timestamp type in data flow
由於一些神秘的錯誤,我無法發送問題,所以我將分享問題的屏幕截圖。 誰能幫我解決這個問題? ...
[英]How to set the output of a lookup activity to a variable
我想將查找活動的輸出存儲為數組類型的變量,並在后續的 foreach 活動中使用它。 查找活動的輸出如下圖所示。 查看活動輸出 } 我只想在此輸出中選擇“Horizon_Week_2022”並將變量設置為包含 52 個項目的數組。 但是,據我所知,我不知道如何設置變量。 你能告訴我嗎? 任何答案將 ...
[英]How to filter by 3 or more criteria in azure dataflow
我想在 Azure 數據流中使用超過 3 個條件來篩選行,但我在表達式中遇到錯誤。 我該如何解決這個問題? 我想將 company_code 過濾為黃色的代碼。 ...
[英]Azure Data Factory Data Flow: how to filter input column with multiple values
我想做的基本上是在數據流中模擬 SQL WHERE IN CLAUSE 的東西。 我想將逗號分隔的字符串值傳遞到我的數據流中,即 ptf_proc_link_id = "A, B, C"。 在數據流內部,我想使用這些值來過濾我的輸入列之一: 這等同於在 SQL 中編寫 SELECT * FROM ...
[英]Can we use output of look up activity directly in Data flow activity without giving any dataset in the dataflow?
我正在使用查找活動來讀取我在 Oracle 中的表。我希望查找的輸出成為數據流的源,因為在數據流設計器中我無法在源端連接 Oracle,Oracle 連接器在數據流級別不可用。 那么是否有可能以這種方式或是否有任何有效的方式來做到這一點。 ...
[英]How to take max value and replace it in drived colomn in data factory
我是天藍色數據工廠的新手。 我需要以下實施方面的幫助 - 輸入: 鍵,列 3 1,5 2,6 3,7 期望的輸出: 鍵,列 3 1,3 2,6 3,7 這里key=1,col3值替換成3(key的最大值) 我需要用另一列的最大值替換一列數據。 我想取鍵列的最大值並將 column3 中的 ...