Spark window 聚合 function 不能直观地处理记录排序

Question

我有以下在 Spark 3.3 上运行的示例

import pyspark.sql.functions as F
from pyspark.sql import Window

inputData = [
  ("1", 333),
  ("1", 222),
  ("1", 111),
  ("2", 334)
]
inputDf = spark.createDataFrame(inputData, schema=["id", "val"])

window = Window.partitionBy("id")
aggregatedDf = (
    inputDf.withColumn("min_val", F.min(F.col("val")).over(window))
    .withColumn("max_val", F.max(F.col("val")).over(window))
).show()

output 符合预期，我得到每个 window 的正确最小值/最大值

+---+---+-------+-------+
| id|val|min_val|max_val|
+---+---+-------+-------+
|  1|333|    111|    333|
|  1|222|    111|    333|
|  1|111|    111|    333|
|  2|334|    334|    334|
+---+---+-------+-------+

当我将 orderBy 添加到 window 时，output 是不同的：

window = Window.partitionBy("id").orderBy(F.col("val").desc())

+---+---+-------+-------+
| id|val|min_val|max_val|
+---+---+-------+-------+
|  1|333|    333|    333|
|  1|222|    222|    333|
|  1|111|    111|    333|
|  2|334|    334|    334|
+---+---+-------+-------+

如您所见，使用 desc 排序 max_value 没问题，但 min_value 正在从一条记录更改到另一条记录

我试图在 docu 或此处找到更多信息，但没有运气。 对我来说，它根本不直观。

我的期望是 Spark 将扫描给定分区中的所有记录并为分区内的每条记录分配最小/最大值，这在 window 内没有排序是正确的，但在添加排序时工作方式不同

有谁知道为什么它会这样工作？

Answer 1

您需要添加Frame以获得您期望的 output。

根据文档：

注意 未定义排序时，默认使用无界 window 帧（rowFrame、unboundedPreceding、unboundedFollowing）。 定义排序时，默认使用增长的 window 框架（rangeFrame、unboundedPreceding、currentRow）。

本质上，Spark 或任何 SQL 将默认考虑 Window 直到当前行，同时处理该行的 function。 通过将框架添加为 - unboundedPreceding 到 unboundedFollowing - 我们要求 Spark 考虑整个 window。

例如，在处理min中第二行的最小值 function 时（按值降序排列），Spark 会将id=1的 window 视为第一行和第二行（在 unboundedPreceding 和 CURRENT_ROW 之间）

这行得通

window = Window.partitionBy("id")\
.orderBy(F.col("val").desc())\
.rowsBetween(Window.unboundedPreceding, Window.unboundedFollowing)

Output：

要了解有关框架的更多信息，请考虑阅读https://docs.oracle.com/cd/E17952_01/mysql-8.0-en/window-functions-frames.html

https://medium.com/expedia-group-tech/deep-dive-into-apache-spark-window-functions-7b4e39ad3c86