如何为 Spark 中另一列中的每个唯一值找到一列的最大值？

Question

假设我有一个与此类似的数据集：

我的最终产品需要将一周中的每一天与当天活动最多的地方排成一行。 即 Mon Place A 56、Wed Place C 64 等。我尝试过使用 Window 函数并且正在使用 max 和 groupie，但我让自己感到困惑。

Answer 1

为了您的目的，您需要编写window function ：

val df = Seq(
  ("Mon", "Place A", 10),
  ("Mon", "Place B", 42),
  ("Wed", "Place C", 41),
  ("Thurs", "Place D", 45),
  ("Fri", "Place E", 64),
  ("Fri", "Place A", 12),
  ("Wed", "Place F", 54),
  ("Wed", "Place A", 1)
).toDF("day", "place", "number")
df.show()
df.withColumn("orderedNumberForDay",
  row_number()
    .over(
      Window.orderBy(col("number").desc)
        .partitionBy("day")
    )
).filter(col("orderedNumberForDay") === lit(1))
 .select("day", "place", "number")
 .show()
/*                            
+-----+-------+------+        +-----+-------+------+
|  day|  place|number|        |  day|  place|number|
+-----+-------+------+        +-----+-------+------+
|  Mon|Place A|    10|        |  Mon|Place B|    42|
|  Mon|Place B|    42|  ===>> |  Wed|Place F|    54|
|  Wed|Place C|    41|        |  Fri|Place E|    64|
|Thurs|Place D|    45|        |Thurs|Place D|    45|
|  Fri|Place E|    64|        +-----+-------+------+
|  Fri|Place A|    12|   
|  Wed|Place F|    54|   
|  Wed|Place A|     1|   
+-----+-------+------+
*/

只是一点解释它是如何工作的

首先你需要添加带有window function结果的列，这里是：

df.withColumn("orderedNumberForDay",
  row_number()
    .over(
      Window.orderBy(col("number").desc)
      .partitionBy("day")
    )
)

row_number() - 是partition row_number()计数器。 Partition就像 group in group by 。 partitionBy("day")只是将具有同day列值的窗口分组。 最后，我们必须订购该window的number在desc顺序，所以orderBy(col("number").desc在我们window function 。 over就像是从桥上windows里面的一些有用的计算windows ，它只是绑定row_number和window function 。

执行此阶段后，我们将获得数据：

+-----+-------+------+-------------------+
|  day|  place|number|orderedNumberForDay|
+-----+-------+------+-------------------+
|  Mon|Place B|    42|                  1|
|  Mon|Place A|    10|                  2|
|  Wed|Place F|    54|                  1|
|  Wed|Place C|    41|                  2|
|  Wed|Place A|     1|                  3|
|  Fri|Place E|    64|                  1|
|  Fri|Place A|    12|                  2|
|Thurs|Place D|    45|                  1|
+-----+-------+------+-------------------+

所以，我们需要的只是filter行， orderedNumberForDay等于1 - 它将使用max number并选择开始的列： day, place, number 。 最终结果将是：

+-----+-------+------+
|  day|  place|number|
+-----+-------+------+
|  Mon|Place B|    42|
|  Wed|Place F|    54|
|  Fri|Place E|    64|
|Thurs|Place D|    45|
+-----+-------+------+

Answer 2

Spark 3.0 引入了聚合函数max_by ，它完全符合您的要求：

df.groupBy("day")
   .agg(expr("max_by(place, number)"), max('number))
   .show()

结果：

+-----+---------------------+-----------+
|  day|max_by(place, number)|max(number)|
+-----+---------------------+-----------+
|  Mon|              Place B|         42|
|  Wed|              Place F|         54|
|  Fri|              Place E|         64|
|Thurs|              Place D|         45|
+-----+---------------------+-----------+