Synapse Serverless SQL 中的大型表的 CETAS 超時

Question

我正在嘗試使用 CETAS ( CREATE EXTERNAL TABLE AS SELECT * FROM <table> ) 語句從 Azure Synapse Serverless Z9778240A0101CB305C9 中已經存在的外部表中創建一個新的外部表。 我從中選擇的表是一個非常大的外部表，它建立在大約 30 GB 的鑲木地板格式的數據上，存儲在 ADLS Gen 2 存儲中，但查詢總是在大約 30 分鍾后超時。 我已經嘗試使用高級存儲，並且也嘗試了大多數（如果不是所有） 這里提出的建議，但它沒有幫助，查詢仍然超時。 我在 Synapse Studio 中遇到的錯誤是：-

Statement ID: {550AF4B4-0F2F-474C-A502-6D29BAC1C558} | Query hash: 0x2FA8C2EFADC713D | Distributed request ID: {CC78C7FD-ED10-4CEF-ABB6-56A3D4212A5E}. Total size of data scanned is 0 megabytes, total size of data moved is 0 megabytes, total size of data written is 0 megabytes. Query timeout expired.

核心用例是假設我只有外部表名，我想創建一個數據副本，在 Azure 存儲本身中創建該外部表。

有沒有辦法解決這個超時問題或更好的方法來解決這個問題？

Answer 1

這是無服務器的限制。

查詢超時已過期

如果查詢在 serverless SQL 池上執行超過 30 分鍾，則會返回錯誤 Query timeout expired。 這是無法更改的無服務器 SQL 池的限制。 嘗試通過應用最佳實踐來優化您的查詢，或嘗試使用 CETAS 實現部分查詢。 檢查無服務器池上是否有並發工作負載運行，因為其他查詢可能會占用資源。 在這種情況下，您可能會將工作負載拆分到多個工作區。

無服務器 SQL 池的自助 - 查詢超時已過期

核心用例是假設我只有外部表名，我想創建一個數據副本，在 Azure 存儲本身中創建該外部表。

在數據工廠復制作業、Spark 作業或 AzCopy 中執行此操作很簡單。