Azure 數據工廠 DataFlow 錯誤：鍵分區不允許計算列

Question

我們有一個適用於許多表的通用數據流，在運行時檢測模式。 我們正在嘗試為增量的攝取或接收器部分添加一個分區列。

我們收到錯誤：Azure 數據工廠 DataFlow 錯誤：鍵分區不允許計算列作業失敗，原因是：源“攝取”（第 7 行/第 0 行）：鍵分區不允許計算列

我們可以將分區列作為參數傳遞給通用數據流嗎？

Answer 1

我們可以將分區列作為參數傳遞給通用數據流嗎？

我試過你的場景並得到了類似的錯誤。

鍵分區方法的一個限制是我們不能在聲明分區列時對其進行任何計算。 相反，這必須提前創建，使用派生列或從源讀取。

要解決此問題，您可以嘗試執行以下步驟 -

• 首先，我創建了一個數據類型為字符串的管道參數，並將列名作為值。

• 點擊Dataflow >> Go to Parameter >> In value of parameter select Pipeline expression >> 並傳遞上面創建的參數。

OUTPUT：

它將其作為分區鍵列並相應地分區數據。

參考： 如何使用數據流分區優化數據因素中的 Spark 性能