Apache Spark中Select DATE_FORMAT（date，format）的替代方法

Question

我正在使用Apache-Spark SQL和Java从镶木地板文件中读取。 该文件包含一个日期列（ M/d/yyyy ），我想将其更改为其他格式（ yyyy-dd-MM ）。 我们可以在mysql中执行Select DATE_FORMAT(date, format)操作。
Apache-Spark中有类似的方法吗？

Answer 1

您可以做的是使用to_timestamp与当前架构解析字符串，并使用date_format将其格式化为所需的字符串：

val df = Seq("1/1/2015", "02/10/2014", "4/30/2010", "03/7/2015").toDF("d")
df.select('d, date_format(to_timestamp('d, "MM/dd/yyyy"), "yyyy-dd-MM") as "new_d")
  .show
+----------+----------+
|         d|     new_d|
+----------+----------+
|  1/1/2015|2015-01-01|
|02/10/2014|2014-10-02|
| 4/30/2010|2010-30-04|
| 03/7/2015|2015-07-03|
+----------+----------+

请注意，解析非常健壮，并且支持单位数天和数月。