Pyspark：基于另一列生成一列，该列重复将值附加到当前行[关闭]

Question

关闭。 这个问题需要细节或清晰。 它目前不接受答案。

---

想改善这个问题吗？ 通过编辑此帖子添加详细信息并澄清问题。

12 个月前关闭。

改进这个问题

这是我的数据框：

我想为Product列中的每个产品生成B列。

我尝试使用 pyspark 的 Lead/Lag 函数，但无法准确生成它。

Answer 1

使用F.collect_list和explode函数。

窗口上的F.collect_list将累积附加A列中的列表。
explode和collect_list可以列出清单合并成一个。

你的 df：

from pyspark.sql.types import *
from pyspark.sql.window import Window
from pyspark.sql import functions as F
from pyspark.sql.functions import col
from pyspark.sql.functions import *

schema = StructType([StructField("product", StringType()), StructField("year", IntegerType()), \
    StructField("A", ArrayType(IntegerType()))])

data = [['A', 2010, [1,2,3]], ['A', 2011, [4,5,6]], ['A', 2012, [7,8,]], \
    ['B', 2009, [10,11,12]], ['B', 2010, [16,17]], ['B', 2011, [20,21,22,23]], ['B', 2012, [24]]]

df = spark.createDataFrame(data,schema=schema)

w = Window.partitionBy("product").orderBy("year")

df.withColumn("first_list", F.collect_list("A").over(w))\
    .withColumn("first_explode", F.explode((F.col("first_list"))))\
    .withColumn("second_explode", F.explode(F.col("first_explode")))\
    .withColumn("cum_list", F.collect_list("second_explode").over(Window.partitionBy("product", "year")))\
    .drop("first_list", "first_explode", "second_explode").distinct()\
    .orderBy("product", "year").show(truncate=False)

（使用F.collect_set上second_explode如果你不想重复）

输出：

+-------+----+----------------+----------------------------------------+        
|product|year|A               |cum_list                                |
+-------+----+----------------+----------------------------------------+
|A      |2010|[1, 2, 3]       |[1, 2, 3]                               |
|A      |2011|[4, 5, 6]       |[1, 2, 3, 4, 5, 6]                      |
|A      |2012|[7, 8]          |[1, 2, 3, 4, 5, 6, 7, 8]                |
|B      |2009|[10, 11, 12]    |[10, 11, 12]                            |
|B      |2010|[16, 17]        |[10, 11, 12, 16, 17]                    |
|B      |2011|[20, 21, 22, 23]|[10, 11, 12, 16, 17, 20, 21, 22, 23]    |
|B      |2012|[24]            |[10, 11, 12, 16, 17, 20, 21, 22, 23, 24]|
+-------+----+----------------+----------------------------------------+