PySpark 字符串到時間戳的轉換

Question

如何使用 PySpark 將時間戳作為字符串轉換為“yyyy-mm-ddThh:mm:ss.sssZ”格式的時間戳？

輸入時間戳（字符串），df：

| col_string            |
| :-------------------- |
| 5/15/2022 2:11:06 AM  |

所需的 output（時間戳），df：

| col_timestamp           |
| :---------------------- |
| 2022-05-15T2:11:06.000Z |

Answer 1

to_timestamp可用於提供可選的format參數。

from pyspark.sql import functions as F
df = spark.createDataFrame([("5/15/2022 2:11:06 AM",)], ["col_string"])

df = df.select(F.to_timestamp("col_string", "M/dd/yyyy h:mm:ss a").alias("col_ts"))
df.show()
# +-------------------+
# |             col_ts|
# +-------------------+
# |2022-05-15 02:11:06|
# +-------------------+

df.printSchema()
# root
#  |-- col_ts: timestamp (nullable = true)