Count(*) 等效於 Scala 中的 Spark SQL

Question

例如，我想在聚合一些超過 1 列的數據集后計算行數

val iWantToCount = someDataSet
      .groupBy($"x", $"y")
      .agg(count().as("Num_of_rows"))
      

但不帶參數的count沒有重載。

我還有其他選擇嗎？

編輯：

count("*")是正確的方法嗎？

Answer 1

試試這個腳本（使用lit需要以下導入）：

import.spark.implicits._

//dummy data    
val df = Seq((1, "qwe", 1200),
    (1, "qwe", 1234),
    (1, "rte", 4673),
    (2, "ewr", 4245), (2, "ewr", 8973)
).toDF("col1", "col2", "col3")

df.groupBy("col1","col2").agg(count(lit(1)).alias("num_of_rows")).show

數據基於第一個兩列分組並在新列中派生計數。

Answer 2

import spark.implicits._

val df = Seq((1, "qwe", 1200),
    (1, "qwe", 1234),
    (1, "rte", 4673),
    (2, "ewr", 4245), (2, "ewr", 8973)
).toDF("col1", "col2", "col3")

println(df.groupBy("col1", "col2").count().count())