如何根据 Pyspark 中同一列中的最大值替换列中的值？

Question

我有一个名为 version 的列，其中 integer 值为 1,2,....最多 8。我想用同一列版本中存在的最大数量替换所有 integer 值，在这种情况下为 8，所以我想替换1,2,3,4,5,6,7 和 8。我尝试了几种方法，但无法得到解决方案。

testDF = spark.createDataFrame([(1,"a"), (2,"b"), (3,"c"), (4,"d"), (5,"e"), (6,"f"), (7,"g"), (8,"h")], ["version", "name"])
testDF.show()
+-------+----+
|version|name|
+-------+----+
|      1|   a|
|      2|   b|
|      3|   c|
|      4|   d|
|      5|   e|
|      6|   f|
|      7|   g|
|      8|   h|
+-------+----+

预期的

+-------+----+
|version|name|
+-------+----+
|      8|   a|
|      8|   b|
|      8|   c|
|      8|   d|
|      8|   e|
|      8|   f|
|      8|   g|
|      8|   h|
+-------+----+

Answer 1

尝试这个，

testDF=testDF.withColumn("version", lit(testDF.agg({"version": "max"}).collect()[0][0]))

Output：

+-------+----+
|version|name|
+-------+----+
|      8|   a|
|      8|   b|
|      8|   c|
|      8|   d|
|      8|   e|
|      8|   f|
|      8|   g|
|      8|   h|
+-------+----+

增量值如下：

testDF.withColumn("version", lit(testDF.agg({"version": "max"}).collect()[0][0]+1))

Output：

+-------+----+
|version|name|
+-------+----+
|      9|   a|
|      9|   b|
|      9|   c|
|      9|   d|
|      9|   e|
|      9|   f|
|      9|   g|
|      9|   h|
+-------+----+