在 scala 中对 dataframe 中的对象数组进行分组和聚合的最佳方法是什么

Question

一个例子：
_4 是我要分组和求和的计数、日期和标签的集合

|_1 |_2   |_3|_4                                                            |
|100|Scrap|12|{[{1, 2022-12-05, A}, {1, 2022-12-05, B}]}                    |
|100|Scrap|12|{[{1, 2022-12-06, A}]}                                        |
|100|Scrap|15|{[{2, 2022-12-07, A}, {2, 2022-12-02, A}, {2, 2022-12-03, C}]}|
|100|Scrap|15|{[{5, 2022-12-05, A}, {3, 2022-12-05, A}, {5, 2022-12-05, D}]}|

我希望得到的 output 是这样的，它按对象中的前 3 列和第三个元素（标签）分组，同时对第一个元素（计数）求和。

|UID |Title|Cell|Data                 |
|100 |Scrap|12  |{[{2,A},{1,B}]       |
|100 |Scrap|15  |{[{12,A},{2,C},{5,D}]|

dataframe 的架构如下所示

|-- _1: long (nullable = false)
 |-- _2: string (nullable = true)
 |-- _3: long (nullable = false)
 |-- _4: struct (nullable = true)
 |    |-- data: array (nullable = true)
 |    |    |-- element: struct (containsNull = true)
 |    |    |    |-- count: integer (nullable = false)
 |    |    |    |-- date: date (nullable = true)
 |    |    |    |-- tag: string (nullable = true)

Answer 1

一种直接的方法是通过inline将列_4的数组内容展平，然后是几个groupBy/agg ，如下所示：

import java.sql.Date
case class Item(count: Int, date: Date, tag: String)
case class Items(data: Seq[Item])

val df = Seq(
  (100L, "Scrap", 12L, Items(Seq(Item(1, Date.valueOf("2022-12-05"), "A"), Item(1, Date.valueOf("2022-12-05"), "B")))),
  (100L, "Scrap", 12L, Items(Seq(Item(1, Date.valueOf("2022-12-06"), "A")))),
  (100L, "Scrap", 15L, Items(Seq(Item(2, Date.valueOf("2022-12-07"), "A"), Item(2, Date.valueOf("2022-12-02"), "A"), Item(2, Date.valueOf("2022-12-03"), "C")))),
  (100L, "Scrap", 15L, Items(Seq(Item(5, Date.valueOf("2022-12-05"), "A"), Item(3, Date.valueOf("2022-12-05"), "A"), Item(5, Date.valueOf("2022-12-05"), "D"))))
).toDF("_1", "_2", "_3", "_4")

df.
  select($"_1", $"_2", $"_3", expr("inline(_4.data)")).
  groupBy($"_1".as("UID"), $"_2".as("Title"), $"_3".as("Cell"), $"tag").agg(
    struct(sum($"count"), first($"tag")).as("TagSum")
  ).
  groupBy("UID", "Title", "Cell").agg(
    collect_list("TagSum").as("Data")
  ).
  show(false)
/*
+---+-----+----+-------------------------+
|UID|Title|Cell|Data                     |
+---+-----+----+-------------------------+
|100|Scrap|12  |[{1, B}, {2, A}]         |
|100|Scrap|15  |[{2, C}, {12, A}, {5, D}]|
+---+-----+----+-------------------------+
*/

第一个groupBy按键列和_4.data元素的 struct 字段tag对数据集进行分组，以按tag对count求和，第二个groupBy仅按键列分组，以汇总所需结果。