[英]calculating kurtosis array[Double] filed in spark scala
如何計算spark中數組場的峰度
spark 內置函數失敗的數組字段。
due to data type mismatch: argument 1 requires double type, however, 'SERIES' is of array<double> type.;;
python中的示例
from scipy.stats import kurtosis
kurtosis([1, 2, 3, 4, 5])
-1.3
我使用了內置功能的火花
df.withColumn("newcolumn",when(col("SERIES").isNotNull,kurtosis(columnName))
使用 Twitter 代數包我可以獲得峰度值。
import com.twitter.algebird._
val y = List(1, 2, 3, 4, 5)
def getMoments(xs: List[Int]): Moments =
xs.foldLeft(MomentsGroup.zero) { (m, x) =>
MomentsGroup.plus(m, Moments(x))
}
println(getMoments(y).kurtosis) // -1.3
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.