为什么我的变量在合并操作中的每一行都没有增加

Question

我正在尝试实现增量文件合并操作并将下一个 id 关联到每个新行。

例如，考虑一个空的目标表和要合并的这些行：

+-----------------+----------+----------+------------------------------------+
|AdUnitPositionLib|dt_cre    |dt_mod    |uid                                 |
+-----------------+----------+----------+------------------------------------+
|Non Défini       |2022-01-25|2022-01-25|fda8b8c2-66fd-4cac-ad42-9f64dda0840d|
|LOL              |2022-01-25|2022-01-25|11ad1c2c-6785-41c1-bdfc-6dad04aeebd7|
|LOOL             |2022-01-25|2022-01-25|a9779464-4e13-4324-aba5-19f9e7998b63|
+-----------------+----------+----------+------------------------------------+

我想在我的目标中得到的结果是：

+--+-----------------+----------+----------+------------------------------------+
|Id|AdUnitPositionLib|dt_cre    |dt_mod    |uid                                 |
+--+-----------------+----------+----------+------------------------------------+
|1 |Non Défini       |2022-01-25|2022-01-25|fda8b8c2-66fd-4cac-ad42-9f64dda0840d|
|2 |LOL              |2022-01-25|2022-01-25|11ad1c2c-6785-41c1-bdfc-6dad04aeebd7|
|3 |LOOL             |2022-01-25|2022-01-25|a9779464-4e13-4324-aba5-19f9e7998b63|
+--+-----------------+----------+----------+------------------------------------+

接下来，如果我有以下几行要合并：

+-----------------+----------+----------+------------------------------------+
|AdUnitPositionLib|dt_cre    |dt_mod    |uid                                 |
+-----------------+----------+----------+------------------------------------+
|LOL              |2022-01-25|2022-01-25|11ad1c2c-6785-41c1-bdfc-6dad04aeebd7|
|NEW              |2022-01-25|2022-01-25|a9779464-4e13-4324-aba5-19f9e7998b63|
+-----------------+----------+----------+------------------------------------+

合并键是AdUnitPositionLib列，所需的 output 是：

+--+-----------------+----------+----------+------------------------------------+
|Id|AdUnitPositionLib|dt_cre    |dt_mod    |uid                                 |
+--+-----------------+----------+----------+------------------------------------+
|1 |Non Défini       |2022-01-25|2022-01-25|fda8b8c2-66fd-4cac-ad42-9f64dda0840d|
|2 |LOL              |2022-01-25|2022-01-25|11ad1c2c-6785-41c1-bdfc-6dad04aeebd7|
|3 |LOOL             |2022-01-25|2022-01-25|a9779464-4e13-4324-aba5-19f9e7998b63|
|4 |NEW              |2022-01-25|2022-01-25|a9779464-4e13-4324-aba5-19f9e7998b63|
+--+-----------------+----------+----------+------------------------------------+

每个新行的 Id 应该是最后一个最大 Id + 1，我不想在我的 Id 列中有间隙（由于可能会更新的行）。

所以这就是我所做的：

var lastId = 1

if (spark.catalog.tableExists(s"$MyTargetTable")) {
  if (spark.table(s"$MyTargetTable").count() > 0) {
    lastId = spark.sql(s"SELECT MAX(AdUnitPositionId) FROM $MyTargetTable").collect()(0).getInt(0)+1
  }
}

val df = spark.sql(QueryToGetData) // This returns a df with the four desired columns

def incr(i: Integer): String = {
    lastId=lastId+1
    return (i+1).toString
}

DeltaTable.forPath(spark, sinkDeltaTable.realPath(storageAccountName))
    .as("target")
    .merge(
    digital_dim_AdUnitPosition.as("source"),
    "target.AdUnitPositionLib = source.AdUnitPositionLib")
    .whenMatched
    .updateExpr(
    Map("dt_mod" -> "source.dt_mod"))
    .whenNotMatched
    .insertExpr(
    Map(
    "AdUnitPositionLib" -> "source.AdUnitPositionLib",
    "dt_cre" -> "source.dt_cre",
    "dt_mod" -> "source.dt_mod",
    "uid" -> "source.uid",
    "Id" -> incr(lastId)))
    .execute()

我想要做的是在每个新行调用 incr function 以便lastId增加。 问题是每次执行时 Id 只会增加一次，因此所有新行都具有相同的 Id，即lastId+1 。 init 执行后的结果：

+--+-----------------+----------+----------+------------------------------------+
|Id|AdUnitPositionLib|dt_cre    |dt_mod    |uid                                 |
+--+-----------------+----------+----------+------------------------------------+
|2 |Non Défini       |2022-01-25|2022-01-25|fda8b8c2-66fd-4cac-ad42-9f64dda0840d|
|2 |LOL              |2022-01-25|2022-01-25|11ad1c2c-6785-41c1-bdfc-6dad04aeebd7|
|2 |LOOL             |2022-01-25|2022-01-25|a9779464-4e13-4324-aba5-19f9e7998b63|
+--+-----------------+----------+----------+------------------------------------+

我该怎么做才能在每个新行处执行incr(lastId)以插入。