Spark Scala 有條件地添加到 agg

Question

是否可以在 Spark Scala 中有條件地添加聚合？

我想通過有條件地添加collect_set來干掉以下代碼

例子：

    val aggDf = if (addId) groups.agg(
            count(lit(1)).as("Count"),
            percentile_approx($"waitTime",lit(0.5), lit(10000)),
            collect_set("Id").as("Ids")
        )
    else groups.agg(
            count(lit(1)).as("Count"),
            percentile_approx($"waitTime",lit(0.5), lit(10000))
        )

也許這是編寫整個代碼的更好方法。

謝謝。

Answer 1

您可以按順序存儲聚合列並根據需要更改順序：

var aggCols = Seq(count(lit(1)).as("Count"),
  percentile_approx($"waitTime",lit(0.5), lit(10000)))
if(addId) aggCols = aggCols :+ collect_set("Id").as("Ids")

val aggDf = groups.agg(aggCols.head, aggCols.tail:_*)