将 pyspark groupedData 对象转换为 spark Dataframe

Question

我必须对 pyspark 数据框进行 2 个级别的分组。 我的试探：

grouped_df=df.groupby(["A","B","C"])
grouped_df.groupby(["C"]).count()

但我收到以下错误：

'GroupedData' object has no attribute 'groupby'

我想我应该首先将分组对象转换为 pySpark DF。 但我不能那样做。

有什么建议吗？

Answer 1

我遇到过同样的问题。 我绕过它的方法是首先在第一个groupby之后执行“count（）”，因为它返回一个Spark DataFrame，而不是GroupedData对象。 然后，您可以在返回的DataFrame上执行另一个groupby。

所以尝试：

grouped_df=df.groupby(["A","B","C"]).count()
grouped_df.groupby(["C"]).count()

Answer 2

函数DataFrame.groupBy(cols)返回一个GroupedData对象。 为了将GroupedData对象转换回DataFrame ，您需要使用GroupedData函数之一，例如mean(cols) avg(cols) count() 。 使用您的示例的示例是：

df = sqlContext.createDataFrame([['a', 'b', 'c'], ['a', 'b', 'c'], ['a', 'b', 'c']], schema=['A', 'B', 'C'])
df.show()

+---+---+---+
|  A|  B|  C|
+---+---+---+
|  a|  b|  c|
|  a|  b|  c|
|  a|  b|  c|
+---+---+---+

gdf = df.groupBy('C').count()
gdf.show()

+---+-----+
|  C|count|
+---+-----+
|  c|    3|
+---+-----+

Answer 3

https://spark.apache.org/docs/2.1.0/api/python/pyspark.sql.html#pyspark.sql.GroupedData

pyspark.sql.GroupedData聚合方法，由DataFrame.groupBy（）返回。

DataFrame.groupBy（）创建的一组DataFrame聚合方法。

您可以使用聚合函数作为agg，avg，count，max，mean，min，pivot，sum，collect_list，collect_set，count，first，grouping等。

首先注意：这个函数是一个动作，如果你误用它，它可以让你的脚本变慢。

如果你有一个数字列，你可以使用aggragation函数，如min，max，mean等，但如果你有一个字符串列，你可能想要使用：

df.groupBy("ID").pivot("VAR").agg(concat_ws('', collect_list(col("VAL"))))

要么

df.groupBy("ID").pivot("VAR").agg(collect_list(collect_list("VAL")[0]))

要么

df.groupBy("ID").pivot("VAR").agg(first("VAL"))