獲取數據流的全部output

[英]Get all output of dataflow

有可能在一個output中獲取所有output數據流嗎？ 我在 foreach 中有一個數據流，我想探索 output 來做一些日志。 ...

如何解析 Json Object 包含動態屬性的元素

[英]How to Parse Json Object Element that contains Dynamic Attribute

我們有一個 Json object 結構如下。{ "results": { "timesheets": { "135288482": { "id": 135288482, "user_id": 1242515, "jobcode ...

需要為 Airflow 與 Azure 連接的有效負載獲取正確的 URL

[英]Need to get proper URL for payloads for Airflow connected with Azure

我有四個文件main.py 、 jobs.zip 、 libs.zip和params.yaml ，這些我存儲在 Azure 存儲帳戶容器中。 現在我有了這段代碼，它正在制作一個有效負載，並將嘗試使用該有效負載運行一個 spark 作業。 該有效負載將具有這 4 個文件的位置鏈接。 我已經檢查了正確 ...

如何使用 SQLAlchemy 將數據插入 Azure Synapse 數據庫

[英]How to insert data into Azure Synapse Database with SQLAlchemy

我正在嘗試使用 SQLAlchemy 將一些行插入到 Synapse 數據庫中。但是在執行 db.session.commit() 時出現此錯誤： 這是我用來在 Synapse 中創建表的 SQL 腳本： 這是該表的 SQLAlchemy model： 這是我運行的將數據插入 de DB 的代碼： ...

用戶應該只能在 Synapse 工作區中運行 SQL 查詢

[英]User should only be able to run SQL queries in Synapse workspace

我們在 Azure Synapse 工作區中有一個特殊場景，我們希望用戶只能查詢連接到 Synapse 工作區的專用 SQL 池中的數據。 我們不希望他們創建管道、更改 Synapse 設置等。我們希望他們只能查詢專用 SQL 池中的數據。 分配角色“Synapse User”是否足以做到這一點？ ...

Azure 扁平層次結構的 Synapse 遞歸 CTE 替代方案

[英]Azure Synapse recursive CTE alternative for flatten hierarchy

我面臨以下挑戰：我想以每行孩子+上層的任何父母的方式展平父子層次結構源數據孩子家長 A 乙乙 C 丁乙 X 是是 Z 希望的結果孩子任何家長 A 乙 A C A 丁 A 乙乙 C 乙丁乙乙 C 丁 C 乙丁乙 X 是 X Z 是 Z 沒有有關級別的信息，也沒有明顯的“頂級父級”。 這是一棵不平 ...

如何提高 Synapse 中 Azure 內置 SQL 無服務器池的性能

[英]How to increase performance on Azure inbuilt SQL Serverless Pool in Synapse

我們目前正在從 Synapse 中的 Azure SQL 無服務器池中提取多個表。 與常規 Azure SQL 數據庫不同，它很容易提高從基本到高級或業務連續性的性能。 有人可以讓我知道如何 go 提高突觸中 Azure SQL 服務器池的性能嗎？ ...

'找不到所選帳戶的有效 Azure DevOps 團隊項目' Azure Synapse GIT 配置

[英]'Could not find a valid Azure DevOps team project for the selected account' Azure Synapse GIT config

我正在嘗試在 Azure Synapse 中配置一個 Azure DevOps git 存儲庫。 選擇組織名稱后，門戶顯示消息：“無法為所選帳戶找到有效的 Azure DevOps 團隊項目。”。 我用來在 Synapse 中配置 GIT 的帳戶是具有以下權限的 DevOps 安全組的一部分： ...

Synapse Spark 池錯誤 HTTP Request failed to Authenticate

[英]Synapse Spark Pool Error HTTP Request failed to Authenticate

我收到以下錯誤，它過去運行良好但突然開始出現以下錯誤錯誤代碼 1 LIVY_JOB_STATE_DEAD 信息 [plugins.synapse-ent-tekura.sparkpoolsmall.180 WorkspaceType: CCID:] [Monitoring] Livy Endpo ...

將 Synapse Workspace 連接到現有的專用 SQL 池

[英]Connecting Synapse Workspace to existing Dedicated SQL Pool

我們有一個開發環境 Synapse Workspace 連接到開發環境 Dedicated SQL Pool。 我們想要另一個開發環境 Synapse Workspace 但我們想將它連接到現有開發環境專用的 SQL Pool。 所以基本上，兩個 Synapse 工作區都應該連接到同一個專用的 SQ ...

Synapse Spark 異常處理 - 無法寫入日志文件

[英]Synapse Spark exception handling - Can't write to log file

我已經編寫了 PySpark 代碼來命中 REST API 並以 XML 格式提取內容，然后寫入數據湖容器中的 Parquet。 我正在嘗試添加日志記錄功能，我不僅會寫出錯誤，還會更新我們執行的操作/流程。 我對 Spark 比較陌生，我一直依賴在線文章和示例。 所有這些都通過“1/0”示例和將日志 ...

SQL 服務器：根據分隔符拆分列中的數據，然后與參考表連接以獲取關聯的ID值

[英]SQL Server: Split Data in a column based on a delimiter and then join with reference table to get ID values associated

我想實現下面屏幕截圖中的預期列。 您能否使用下表腳本和示例數據幫助我在 Synapse Datawarehouse 上實現此目的。 筆記： 這只是一個示例數據集。 原始用戶表將有數百萬行。 用戶列可以超過N個用戶，用分隔符 ';' 分隔 ...

如何使用 SuccessFactors Compound Employee API 檢索快照數據？

[英]How to retrieve snapshot data using SuccessFactors Compound Employee API?

我必須從 SuccessFactors 檢索員工的歷史數據，我嘗試使用 SFSF Compound Employee API 來做到這一點，但效果不佳。 我沒有 API 電話的經驗，所以我不明白 SFSF 文檔說的是什么。 ( https://help.sap.com/doc/60753cd86 ...

如何將 Adf 管道、數據流、數據集導出到 Azure Synapse

[英]How to export Adf pipelines,dataflows,datasets into Azure Synapse

我有 100 個數據流、50 個管道及其相關的數據集變量等。現在我想使用 Synapse 服務，並希望我的所有管道和 ADF 的東西都進入 Synapse。 我的 Adf 配置為 git 我們可以將它們導出到一個 go 中嗎？？ ...

Azure Synapse 筆記本讀取變量

[英]Azure Synapse Notebook Read Variable

我有一個 vary simple/toy pipeline，其中我有一個 pyspark 筆記本，它有一個退出值，一個設置為退出值的變量活動和一個用變量參數化的第二個筆記本。 它看起來像下面這樣。 我成功設置了變量，但似乎無法將此變量讀入input_values筆記本。 筆記本如下所示，也很簡單。 ...

如何在 Synapse 中使用 DENSE_RANK() 包含新的遞增列

[英]How to include a new incremented column using DENSE_RANK() in Synapse

在我的突觸中，我有一個時間表，用於存儲特定日期所有節目的信息。 如果我可以根據標題並按事件編號和程序日期排序，將 rank/dense_rank 包含在此表中的 output 中，將會很有幫助。 這是表腳本和示例記錄。 你能幫我從我的截圖中實現我所期望的列嗎？ ...

Synapse Notebook 在連接到 AWS RDS SQL 服務器時拋出超時錯誤

[英]Synapse Notebook throws timeout error while connecting to AWS RDS SQL Server

我在 Synapse Workspace 中工作並嘗試從 Synapse Notebook 連接到 AWS RDS。 每當我嘗試連接時，它都會拋出以下超時錯誤 - 要檢查我是否可以從 Synapse Notebook ping 主機 - 我嘗試了以下代碼 - 這拋出 我知道這是超時錯誤，筆記本無法連 ...

Azure Synapse 從 BigQuery 復制數據，源錯誤 [HY000] [Microsoft][BigQuery] (131) 無法使用 Google BigQuery 存儲進行身份驗證 API

[英]Azure Synapse Copy Data from BigQuery, Source ERROR [HY000] [Microsoft][BigQuery] (131) Unable to authenticate with Google BigQuery Storage API

在 Azure Synapse 管道中執行復制數據活動時，我在使用查詢（表、查詢）查詢的源選項卡中收到此錯誤。 無法使用 Google BigQuery 存儲進行身份驗證 API： . 奇怪的是我可以在源數據集預覽數據，我也可以在 select 使用查詢表選項時預覽數據。 我什至可以運行查詢 ...

在 Azure 數據工廠中將數據從一個文件夾復制到另一個文件夾時出錯

[英]Getting an error while copying data from one folder to another in Azure Data Factory

此查詢曾經在 Azure 數據工廠管道中工作，但幾天前停止工作。 Azure Blob 存儲中的文件名/格式等沒有任何變化。 在此行中出現錯誤： 錯誤 says.csv@snapshot=* 有 URL 后綴，這是不允許的。 完整代碼： ...

Azure Synapse web 調用“pipelineruns”的活動 rest api，失敗並顯示“failureType”：“UserError”

[英]Azure Synapse web activity calling "pipelineruns" rest api , fails with "failureType": "UserError"

我有 Azure Synapse 管道和 web 活動。 我想調用“pipelineruns”rest api 來獲取管道的運行詳細信息。 我正在為 web 活動 URL 使用以下設置： https://workspacename.dev.azuresynapse.net/pipelineruns ...