Apache Spark中Select DATE_FORMAT（date，format）的替代方法

Question

我正在使用Apache-Spark SQL和Java從鑲木地板文件中讀取。 該文件包含一個日期列（ M/d/yyyy ），我想將其更改為其他格式（ yyyy-dd-MM ）。 我們可以在mysql中執行Select DATE_FORMAT(date, format)操作。
Apache-Spark中有類似的方法嗎？

Answer 1

您可以做的是使用to_timestamp與當前架構解析字符串，並使用date_format將其格式化為所需的字符串：

val df = Seq("1/1/2015", "02/10/2014", "4/30/2010", "03/7/2015").toDF("d")
df.select('d, date_format(to_timestamp('d, "MM/dd/yyyy"), "yyyy-dd-MM") as "new_d")
  .show
+----------+----------+
|         d|     new_d|
+----------+----------+
|  1/1/2015|2015-01-01|
|02/10/2014|2014-10-02|
| 4/30/2010|2010-30-04|
| 03/7/2015|2015-07-03|
+----------+----------+

請注意，解析非常健壯，並且支持單位數天和數月。