Azure 数据工厂 DataFlow 错误：键分区不允许计算列

Question

我们有一个适用于许多表的通用数据流，在运行时检测模式。 我们正在尝试为增量的摄取或接收器部分添加一个分区列。

我们收到错误：Azure 数据工厂 DataFlow 错误：键分区不允许计算列作业失败，原因是：源“摄取”（第 7 行/第 0 行）：键分区不允许计算列

我们可以将分区列作为参数传递给通用数据流吗？

Answer 1

我们可以将分区列作为参数传递给通用数据流吗？

我试过你的场景并得到了类似的错误。

键分区方法的一个限制是我们不能在声明分区列时对其进行任何计算。 相反，这必须提前创建，使用派生列或从源读取。

要解决此问题，您可以尝试执行以下步骤 -

• 首先，我创建了一个数据类型为字符串的管道参数，并将列名作为值。

• 点击Dataflow >> Go to Parameter >> In value of parameter select Pipeline expression >> 并传递上面创建的参数。

OUTPUT：

它将其作为分区键列并相应地分区数据。

参考： 如何使用数据流分区优化数据因素中的 Spark 性能