Scala / Spark無法匹配功能

Question

我正在嘗試運行以下命令：

df = df.withColumn("DATATmp", to_date($"DATA", "yyyyMMdd"))

並得到此錯誤：

<console>:34: error: too many arguments for method to_date: (e: org.apache.spark.sql.Column)org.apache.spark.sql.Column

如何指定要導入的確切函數？ 還有另一種避免這種錯誤的方法嗎？

編輯：Spark版本2.1

Answer 1

在詳細的scaladoc中可以看到，在2.2.0中添加了帶有兩個參數的to_date函數，而從1.5開始存在一個參數的版本。

如果您使用的是舊版Spark，請升級或不使用此功能。