通过PySpark在Apache Spark中进行计算时，对数据帧执行groupBy

Question

我在玩Apache Spark，遇到了以下情况。 我有一个名为“ data”的Spark数据框，其格式如下

Name Grade Count
X     A     10
Y     A     8
X     B     2
Y     B     4

现在，我想在计算A级和B级之间的比率时，按“名称”对数据框进行分组。例如，“ X”的示例为10/2 10/2=5 。

Name Ratio
X     5
Y     4

PySpark版本1.3.0

Answer 1

使用when简单聚合应该可以正常工作：

from pyspark.sql.functions import col, sum, when

a_count = sum(when(col("grade") == "A", col("count")))
b_count = sum(when(col("grade") == "B", col("count")))

data.groupBy("name").agg((a_count / b_count).alias("ratio"))

或带有join ：

a = (data_agg.where(col("grade") == "A")
  .groupby("name")
  .agg(sum("count").alias("cnt"))
  .alias("a"))

b = (data_agg.where(col("grade") == "B")
  .groupby("name")
  .agg(sum("count").alias("cnt"))
  .alias("b"))


(a.join(b, col("a.name") == col("b.name"))
    .select(col("a.name"), (col("a.cnt") / col("b.cnt"))).alias("ratio"))