如何在 pyspark 中分组后从列中取出唯一值并创建具有某些条件的另一列

Question

我有这样的表A：

我想要什么表B：

当我们执行 groupby(r,z) 时，我们得到了上述组合，但是如何将 v 列从表 A 拆分为 v_num 列 v_num 是表 A 中提到的数字，除了 99，如果在分组时有 99，我们应该计算它，但 v_num 是分开的99 如果我们进入第 1,2 组组合，我们应该单独排。

请帮助我，提前谢谢！！

Answer 1

spark>=2.4

spark.sql(
      """
        |select r, z, FILTER(v, x -> x != 99) as v_num, size(v) as count
        |FROM
        |(select r, z, collect_list(v) as v
        |from table
        |group by r, z) a
      """.stripMargin)
      .show()
//If you wanted to take the first element as v_num then change query as below

spark.sql(
      """
        |select r, z, FILTER(v, x -> x != 99)[0] as v_num, size(v) as count
        |FROM
        |(select r, z, collect_list(v) as v
        |from table
        |group by r, z) a
      """.stripMargin)
      .show()

Answer 2

与@someshwar 提到的解决方案相同，但在 pyspark DF API

df = df.groupBy('r','z').agg(collect_list('v').alias('v')).\
select('r','z',expr('''filter(v,x->x!=99)''').alias('v_num'), size(v).alias('count'))