如何获得每种产品的最小和最大库存之间的差异？

Question

我想获取每种产品的最大和最小库存，并计算这些值之间的差。 如果库存等于null或为空，则应将其替换为0。

这是我的代码：

import org.apache.spark.sql.functions._
import org.apache.spark.sql.expressions._

val windowSpec = Window.partitionBy("product_pk")
val sales = df
             .select($"product_pk",$"stock")
             .withColumn("sold",max($"stock")-min($"stock").over(windowSpec))

但是我在运行代码时收到此错误。 我不明白为什么我不能将Window与product_pk一起使用：

诊断：用户类引发异常：org.apache.spark.sql.AnalysisException：分组表达式序列为空，且为'mytable。 product_pk '不是聚合函数。 包装'（MAX（mytable的。 stock ）AS _w0的窗函数（S））'或包裹“mytable的。 ; first（）（或first_value）中的product_pk '，如果您不在乎获得哪个值。

还是应该使用groupBy product_pk？

Answer 1

当前，您在错误的上下文中使用了max （未指定窗口），请尝试：

val sales = df
  .select($"product_pk",$"stock")
  .withColumn("sold",max($"stock").over(windowSpec)-min($"stock").over(windowSpec))

您也可以使用groupBy：

val sales = df
  .groupBy($"product_pk",$"stock")
    .agg(
      max($"stock").as("max_stock"),
      min($"stock").as("min_stock")
    )
  .withColumn("sold",coalesce($"max_stock"-$"min_stock",lit(0.0)))