Spark Scala 數據集無法使用 agg function

Question

我正在嘗試獲取 scala 並使用數據集和聚合函數激發工作。

val keyValueGroupedDataset =  dataset
  .map(mapFunctionToTheSchema)
  .groupByKey(a => a.key)

val calculatedAverage = keyValueGroupedDataset.agg(???)

基於mapFunctionToTheSchema（返回多條記錄如）：（key: Long, value: Long）

我試圖計算每個鍵的平均值。

但是，每當我嘗試這樣做時

> (for instance in: 
> org.apache.spark.sql.functions.avg(myEncoder.schema("columnName").name).as("average")

Cannot resolve overloaded method 'agg'

我不確定，我做錯了什么，因為所有其他教程/stackoverflows 問題都表明它應該可以工作。

Answer 1

我有點自己回答了。

我使用typed.avg[Class](yourClassElement => yourClassElement.field)