如何在不同的日期时间上使用 Window.unboundedPreceding、Window.unboundedFollowing

Question

我有如下数据

---------------------------------------------------|
|Id      |     DateTime                | products  |
|--------|-----------------------------|-----------|
|       1| 2017-08-24T00:00:00.000+0000| 1         |  
|       1| 2017-08-24T00:00:00.000+0000| 2         |
|       1| 2017-08-24T00:00:00.000+0000| 3         |
|       1| 2016-05-24T00:00:00.000+0000| 1         |

我正在使用window.unboundedPreceding ， window.unboundedFollowing如下来获取第二个最近的日期时间。

sorted_times = Window.partitionBy('VipId').orderBy(F.col('LastModifiedTime').desc()).rangeBetween(Window.unboundedPreceding,Window.unboundedFollowing)
df3 = (data.withColumn("second_recent",F.collect_list(F.col('LastModifiedTime')).over(sorted_times)).getItem(1)))

但我得到如下结果，从第二行获取第二个日期，与第一行相同

------------------------------------------------------------------------------
|Id      |DateTime                     | secondtime                   |Products        
|--------|-----------------------------|----------------------------- |--------------
|       1| 2017-08-24T00:00:00.000+0000| 2017-08-24T00:00:00.000+0000 | 1
|       1| 2017-08-24T00:00:00.000+0000| 2017-08-24T00:00:00.000+0000 | 2
|       1| 2017-08-24T00:00:00.000+0000| 2017-08-24T00:00:00.000+0000 | 3
|       1| 2016-05-24T00:00:00.000+0000| 2017-08-24T00:00:00.000+0000 | 1    

请帮助我在不同的日期时间找到第二个最新的日期时间。 提前致谢

Answer 1

使用collect_set<\/code>而不是collect_list<\/code>没有重复：

df3 = data.withColumn(
    "second_recent",
    F.collect_set(F.col('LastModifiedTime')).over(sorted_times)[1]
)

df3.show(truncate=False)
#+-----+----------------------------+--------+----------------------------+
#|VipId|LastModifiedTime            |products|second_recent               |
#+-----+----------------------------+--------+----------------------------+
#|1    |2017-08-24T00:00:00.000+0000|1       |2016-05-24T00:00:00.000+0000|
#|1    |2017-08-24T00:00:00.000+0000|2       |2016-05-24T00:00:00.000+0000|
#|1    |2017-08-24T00:00:00.000+0000|3       |2016-05-24T00:00:00.000+0000|
#|1    |2016-05-24T00:00:00.000+0000|1       |2016-05-24T00:00:00.000+0000|
#+-----+----------------------------+--------+----------------------------+