pyspark dataframe中从1到n的序列如何去除id_sum列中的0

Question

我有以下 pyspark dataframe df_model ：

id_client	id_sku
1111	4444
1111	4444
2222	6666
2222	6666
3333	777

我使用此代码生成列 id_frecuence：

t = df_model.collect()[0][0]
w = Window.partitionBy('id_client').rowsBetween(Window.unboundedPreceding,0).orderBy('col')
df =df_model.withColumn('id_sum',
 f.sum(f.when(f.col('id_client') !=t  , 1)
 .otherwise(0))
 .over(w))

我的 output 是：

id_client	id_sku	id_sum
1111	4444	0
1111	4444	0
2222	6666	1个
2222	6666	2个
3333	777	1个

但我想获得以下结果：

id_client	id_sku	id_sum
1111	4444	1个
1111	4444	2个
2222	6666	1个
2222	6666	2个
3333	777	1个

我的问题是代码有什么问题。

实际上我正在尝试使用 Windowfunction，我的代码是这样的：

t = df_model.collect()[0][0]
w = Window.partitionBy('id_client').rowsBetween(Window.unboundedPreceding,0).orderBy('id_sku')
df =df_model.withColumn('id_sum',
 f.sum(f.when(f.col('id_client') !=t  , 1)
 .otherwise(0))
 .over(w))

Answer 1

你可以这样尝试：

df_model.withColumn("id_sum", row_number().over(w))

row_number() window function 用于给出从1开始到每个window分区的结果的连续行号。