如何在pyspark中將日期時間從字符串格式轉換為日期時間格式？

Question

我使用sqlContext創建了一個數據框，我遇到了日期時間格式的問題，因為它被標識為字符串。

df2 = sqlContext.createDataFrame(i[1])
df2.show
df2.printSchema()

結果：

2016-07-05T17:42:55.238544+0900
2016-07-05T17:17:38.842567+0900
2016-06-16T19:54:09.546626+0900
2016-07-05T17:27:29.227750+0900
2016-07-05T18:44:12.319332+0900

string (nullable = true)

由於datetime架構是一個字符串，我想將其更改為datetime格式，如下所示：

df3 =  df2.withColumn('_1', df2['_1'].cast(datetime()))

這里我收到一個錯誤：TypeError：找不到必需參數'year'（pos 1）

我該怎么做才能解決這個問題？

Answer 1

嘗試這個：

from pyspark.sql.types import DateType
ndf = df2.withColumn('_1', df2['_1'].cast(DateType()))