如何 pivot 和 Pyspark Dataframe

Question

我有以下挑战：我有一个名为 hashtags_users_grouped 的 dataframe，它具有以下结构：

hashtag_id  |  user_id  |  count
   123            1          1
   245            1          3
   123            2          5

在每一行中，我们找到的值告诉我某个用户何时提到某个主题标签以及他提到了多少次。 在这个例子中，用户 1 提到了标签 123 1 次和 245 3 次，而用户 2 只提到了标签 123 5 次。

我想要一个 dataframe 和以下 output：

user  |     123  |          245
1            1               3
2            5               0

换句话说，与第一个表相同的信息，但每个主题标签有一列，以了解用户提到每个主题标签的次数。 我阅读了文档并尝试运行以下命令，但没有成功：

a = hashtags_users_joined_grouped_df.groupBy("user_id").pivot("hashtag_id")
a.show(5)

我收到以下错误消息：

AttributeError: 'GroupedData' object has no attribute 'show'

你知道有什么办法吗？

Answer 1

我认为您在这里寻找相同的 pivot 案例：

Python Pandas：将行转换为列标题

用户 ID 作为国家标签 ID 作为奖牌计数应该相同。

有关更多详细信息和说明： 我如何 pivot 和 dataframe？

Answer 2

应用pivot在这种情况下，您需要对metric执行聚合count 。

from pyspark.sql import functions as F

df = spark.createDataFrame([(123, 1, 1, ), 
                            (245, 1, 3), 
                            (123, 2, 5),], 
                           ("hashtag_id", "user_id", "count", ))

df.groupBy("user_id")\
  .pivot("hashtag_id")\
  .agg(F.first("count"))\
  .show()

Output

+-------+---+----+
|user_id|123| 245|
+-------+---+----+
|      1|  1|   3|
|      2|  5|null|
+-------+---+----+