如何将字符串列转换为日期列 PySpark DataFrame

Question

我有一个如下所示的字符串列 (DOB)：

出生日期
1973-6-28
1978-5-02

我想将其转换为Date类型。 我尝试了以下但它在 output 中显示null值。我尝试了 stackoverflow 的其他答案但无济于事。

df.withColumn('DOB', to_date('DOB', 'yyyy-MMM-dd'))

Answer 1

你能测试下面的代码并验证它是否有效吗？

参考： https://spark.apache.org/docs/latest/sql-ref-datetime-pattern.html

cat <<EOF >test.csv     
DOB
1973-Jun-28
1978-May-02
EOF

pyspark

from pyspark.sql.functions import to_date
df = spark.read.csv('test.csv',header=True)    
df.withColumn('DOB', to_date('DOB', 'yyyy-MMM-dd')).show()

+----------+
|       DOB|
+----------+
|1973-06-28|
|1978-05-02|
+----------+