跨多个字段收集给定键的值 - Apache Spark (Scala)

Question

我有以下格式的 Scala 数据框：

我需要以下格式的 o/p：

o/p 需要写入 json 文件。

Answer 1

这里是。 根据您的需要更改格式。

import org.apache.spark.sql.functions._
df.withColumn("arr", format_string("{%d,%d,%d}", $"pd_id", $"score",$"rank"))
.groupBy("event_tra", "customer", "itemId", "ckey").agg(collect_list("arr").as("collection"))
.select(format_string("{%s,%s,%s,%s,%s,%s}", $"event_tra", $"customer", $"itemId", $"ckey", col("collection").toString).as("data"))