如何扁平化Apache Spark中的數據框 斯卡拉

Question

我有以下數據框：

DF1

uid  text  frequency
1    a     1
1    b     0
1    c     2
2    a     0
2    b     0
2    c     1

我需要根據uid將其展平為：

DF2

uid  a  b  c
1    1  0  2
2    0  0  1

我已經在R中進行過類似的工作，但無法將其轉換為sql或scala。

關於如何處理此問題的任何建議？

Answer 1

您可以按uid分組，將text用作樞軸列並求和頻率：

   df1
     .groupBy("uid")
     .pivot("text")
     .sum("frequency").show()