PySpark GroupBy agg collect_list 多列

Question

我正在使用以下代码。

df = spark.createDataFrame(data=[["john", "tomato", 1.99, 1],["john", "carrot", 0.45, 1],["bill", "apple", 0.99, 1],["john", "banana", 1.29, 1], ["bill", "taco", 2.59, 1]], schema = ["name", "food", "price", "col_1"])

+----+------+-----+-----+
|name|  food|price|col_1|
+----+------+-----+-----+
|john|tomato| 1.99|    1|
|john|carrot| 0.45|    1|
|bill| apple| 0.99|    1|
|john|banana| 1.29|    1|
|bill|  taco| 2.59|    1|
+----+------+-----+-----+

我正在使用带有以下代码的多列的 collect_list。

df.groupBy('name').agg(collect_list(concat_ws(', ','food','price')).alias('sample')).show(10,False)

我低于 output。

+----+------------------------------------------+
|name|sample                                    |
+----+------------------------------------------+
|john|[tomato, 1.99, carrot, 0.45, banana, 1.29]|
|bill|[apple, 0.99, taco, 2.59]                 |
+----+------------------------------------------+

但我需要得到下面的 output。

+----+------------------------------------------+
|name|sample                                    |
+----+------------------------------------------+
|john|tomato 1.99, carrot 0.45, banana 1.29     |
|bill|apple 0.99, taco 2.59                     |
+----+------------------------------------------+

有没有办法得到上面的 output 会有帮助。 我知道上面的代码不会超过 output。

谁能提供我期待的解决方案。

Answer 1

您可以使用 concat_ws 使用分隔符将列表转换为字符串：

df = spark.createDataFrame(
    data=[["john", "tomato", 1.99, 1], ["john", "carrot", 0.45, 1], ["bill", "apple", 0.99, 1],
          ["john", "banana", 1.29, 1], ["bill", "taco", 2.59, 1]], schema=["name", "food", "price", "col_1"])
df = df.groupBy('name').agg(collect_list(concat(col("food"), lit(" "), col("price"))).alias('sample'))\
    .withColumn("sample", concat_ws(",", "sample"))
df.show(truncate=False)

+----+-----------------------------------+
|name|sample                             |
+----+-----------------------------------+
|john|tomato 1.99,carrot 0.45,banana 1.29|
|bill|apple 0.99,taco 2.59               |
+----+-----------------------------------+