如何使用Spark Dataset API汇总键列表？

Question

使用Spark 2.x ，从这样的Dataset ：

|keyword    |url
|A1         |url1
|A1         |url2
|A1         |url3
|A1         |url4
|A2         |url1
|A2         |url2
|A2         |url3

我如何获得：

|keyword    |url
|A1         |url1,url2,url3,url4
|A2         |url1,url2,url3

Answer 1

尝试这个

import org.apache.spark.sql.functions._
val df = myDataset.groupBy("keyword").agg(collect_list("url"))

将agg()与GroupBy()将使您可以在agg()下执行所需的操作，您将获得诸如collect_set() ， sum()等方法。

Answer 2

除了接受的答案，如果您希望以lambda方式执行相同的操作

        baseDS.rdd.filter { x => !x.getAs[String](0).contains("keyword") }.map { x =>
      (x.get(0), x.get(1))
    }.groupByKey().foreach(println(_))

注意：可以使用架构定义跳过filter（）操作

结果

（A1，CompactBuffer（url1，url2，url3，url4））

（A2，CompactBuffer（url1，url2，url3））