Count(*) 等效于 Scala 中的 Spark SQL

Question

例如，我想在聚合一些超过 1 列的数据集后计算行数

val iWantToCount = someDataSet
      .groupBy($"x", $"y")
      .agg(count().as("Num_of_rows"))
      

但不带参数的count没有重载。

我还有其他选择吗？

编辑：

count("*")是正确的方法吗？

Answer 1

试试这个脚本（使用lit需要以下导入）：

import.spark.implicits._

//dummy data    
val df = Seq((1, "qwe", 1200),
    (1, "qwe", 1234),
    (1, "rte", 4673),
    (2, "ewr", 4245), (2, "ewr", 8973)
).toDF("col1", "col2", "col3")

df.groupBy("col1","col2").agg(count(lit(1)).alias("num_of_rows")).show

数据基于第一个两列分组并在新列中派生计数。

Answer 2

import spark.implicits._

val df = Seq((1, "qwe", 1200),
    (1, "qwe", 1234),
    (1, "rte", 4673),
    (2, "ewr", 4245), (2, "ewr", 8973)
).toDF("col1", "col2", "col3")

println(df.groupBy("col1", "col2").count().count())