将数据框列转换为 spark scala 中的逗号分隔值

Question

我有一个如下的数据框

我希望输出像

基本上它应该根据 TPID 进行分组，并以逗号分隔值给出个人角色，如第二个图所示。

Answer 1

您可以使用以下功能：

import org.apache.spark.sql.functions._

//read data in inputDF
inputDF.groupBy("Tpid")
      .agg(concat_ws(",", collect_list("PersonalRole")).alias("PersonalRole"))
      .select(col("Tpid"), col("PersonalRole"))