如何使用 pyspark 将字符串转换为日期时间？

Question

这是我的第一个问题，所以我希望你能帮助我。

我在数据块社区中创建了一个 dataframe pyspark

data=[["1","Feb 20 2017 4:52AM"],["2","Feb 20 2017 5:13AM"]]

df=spark.createDataFrame(data,["id","input"])

df.show(truncate=False)

我想将“输入”列转换为日期时间或日期（最好是日期时间）

首先，我试图将列“输入”转换为时间戳，但我不知道我是否走错了路。 我收到以下错误

Answer 1

尝试如下使用它 -

from pyspark.sql.functions import *

spark.conf.set("spark.sql.legacy.timeParserPolicy", "LEGACY")

df.withColumn("input_changed", from_unixtime(unix_timestamp("input", 'MMM d yyyy HH:mma'),'MM-dd-yyyy HH:mm')).show()

+---+------------------+----------------+
| id|             input|   input_changed|
+---+------------------+----------------+
|  1|Feb 20 2017 4:52AM|02-20-2017 04:52|
|  2|Feb 20 2017 5:13AM|02-20-2017 05:13|
+---+------------------+----------------+